基于小波分析的圖像稀疏保真度評價

陳 勇 樊 強 帥 鋒

?

基于小波分析的圖像稀疏保真度評價

陳 勇*樊 強 帥 鋒

(重慶郵電大學工業物聯網與網絡化控制教育部重點實驗室 重慶 400065)

該文針對傳統的圖像質量評價方法無法有效模擬人類視覺系統(HVS)存在的不足，提出基于小波分析的加權稀疏保真度(Weighting Sparse Fidelity, WSF)圖像評價算法。算法以模擬人類視覺系統的神經網絡為切入點，對圖像進行一階小波分解得到4個不同方向的子帶圖像，然后將子帶圖像分成8×8大小的圖像塊，采用快速獨立分量分析(FastICA)的方法對各個圖像塊進行訓練并提取圖像特征檢測矩陣，根據特征檢測矩陣計算各子帶圖像塊的稀疏特征值并建立稀疏保真度質量評價模型。在此基礎上，根據細節信息的不同對低頻子帶圖像進行區間劃分并設置視覺權重，使之更加接近人眼的主觀視覺。實驗中對LIVE庫中所有圖像進行算法驗證，其結果表明，所提方法能很好地對各種失真類型的圖像進行評價。基于小波分析的稀疏保真度評價算法能夠有效模擬人類視覺系統的多頻特性和視覺皮層感知機制，彌補現有圖像質量評價方法在此方面的不足。

圖像質量評價；稀疏保真度；獨立分量分析；視覺加權；主客觀一致性

1 引言

隨著信息技術的不斷發展，人們越來越多地依靠圖像進行傳輸。圖像在編碼、壓縮和傳輸等處理過程中會產生不同形式、不同程度的失真。因此，針對失真圖像質量評價的研究具有重要的現實意義[1,2]。

圖像評價分為主觀與客觀評價。主觀評價以人眼的主觀感知作為評價標準；客觀評價又可分為無參考和有參考。無參考圖像質量評價主要針對一些具體失真的圖像，如壓縮失真的無參考圖像質量評價[3]、模糊失真[4]等；有參考圖像質量評價通過定量描述失真圖像與參考圖像的差別來衡量失真圖像的質量。峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和均方根誤差(Mean Squared Error, MSE)是常用的有參考圖像質量的評價方法，若PSNR越大，MSE越小，表明圖像質量越好。Wang等人[5]從視覺心理學角度出發采用模擬人類視覺系統(Human Visual System, HVS)的策略，提出了基于結構相似度(Structural SIMilarity, SSIM)的圖像質量評價方法。該方法通過對比原始圖像與失真圖像的亮度、對比度和結構等3個局部特征的相似程度來評價圖像質量，其效果優于PSNR和MSE方法。由于未考慮到人類視覺系統的多頻特性，因此，Sheikh等人[6]采用小波域高斯混合模型對圖像進行建模，提出了視覺信息保真度(Visual Information Fidelity, VIF)準則。VIF在度量圖像局部失真上有一定的進展，但缺乏可靠的計算模型。在綜合信息量與最優感知權值之間的關系的基礎上，文獻[7]提出了信息量加權結構化相似度(Information Weighting for SSIM, IW-SSIM)圖像質量評價方法。此外，Zhang等人[8]提出了一種基于低層視覺特性相似的評價模型特征結構相似度(Features SIMilarity index, FSIM)評價算法。文獻[9]采用稀疏編碼的方法從視覺神經網絡的角度進一步研究人類視覺特性。文獻[10]基于上述思想把多維獨立分量分析(Independent Component Analysis, ICA)方法用于自然圖像處理；文獻[11]通過ICA算法提取視頻幀的運動數據進而評價視頻質量；文獻[12]將彩色圖像R, G, B等3個空間的圖像塊簡單地拉伸為1維列向量，然后采用ICA算法對多個列向量進行訓練與分析，但缺乏對像素空間特性的考慮。

本文基于稀疏編碼的思想，通過小波變換將圖像分解到不同頻率的子帶空間，然后采用快速獨立分量分析(FastICA)方法提取圖像的特征檢測矩陣，在此基礎上根據各子帶圖像的不同頻率特性提取相應的稀疏特征值計算圖像的局部稀疏保真值。此外，結合人眼對圖像不同部分的感知差異對圖像進行區間劃分并設置不同的加權值，得到了加權稀疏保真度(Weighting Sparse Fidelity, WSF)評價方法。實驗中采用LIVE數據庫驗證本文算法，其結果表明與HVS的一致性優于相關文獻方法的效果。

2 基于ICA的圖像稀疏保真度

2.1 獨立分量(ICA)分析

2.2 圖像特征檢測矩陣提取

小波分析應用于信息處理領域，類似于人類系統的多通道濾波模型。在圖像處理中采用小波分解方法對圖像信號進行不同尺度的濾波處理。

圖1 小波變換示意圖

按照上述算法進行分離訓練，直到算法收斂，可得到白化空間的特征檢測矩陣。而原始空間的特征檢測矩陣則可由式(11)得到：

2.3圖像稀疏保真度

2.4視覺加權的稀疏保真度

2.4.1視覺加權的引入 通過式(15)求取圖像的均值稀疏保真度，但并未考慮圖像中不同區域的細節差異對圖像主觀視覺的影響。為反映圖像中不同細節區域在失真過程中的變化與人類主觀視覺的關系，本文根據模糊程度遞增從圖像庫CSIQ (Computational Perception and Image Quality Lab)選取了如圖2(a)~圖2(d)所示的4幅圖像。本文隨機選取圖中3塊細節信息明顯不同的區域A, B, C(如圖2中方框)并計算圖像均值稀疏保真度，其中，A區域的細節信息最多，B次之，C最少。由此說明，在同一幅圖像中人眼對不同部分的主觀感知取決于該區域細節信息的豐富程度。因此可按照細節信息的不同對圖像進行分區，考慮到分區過多帶來的復雜性和不確定性，本文將圖像分為3個區間，并對每一個區間設置不同的加權值。

圖2 ‘boston’ 3塊區間在不同失真條件下的變化

2.4.2圖像區間的劃分 圖像的區間劃分理由與步驟：

(2)根據邊緣圖像塊中非零值的個數不同可將圖像分為平滑、普通紋理和高紋理3個區間。區間劃分可通過引入兩個閾值參數和來確定。邊緣圖像塊中非零值的個數小于的區域為平滑區；紋理區分為普通和高紋理區。普通紋理區為非零值個數大于小于的區域；高紋理區為非零值個數大于的區域。

(3)根據圖像塊的不同區間設置不同的視覺加權值。其中，平滑區域所含細節信息過少，加權值為0；普通紋理區也是圖像塊最集中的區域，加權值為；高紋理區細節信息最多，其加權值為。

2.4.3視覺加權圖像稀疏保真度 對于每一組待測圖像塊及其對應的參考圖像塊，首先將參考圖像塊分為3個區間，設置不同的視覺加權值，則該失真圖像的加權稀疏保真度(WSF of Image, IWSF)為

2.4.4區域劃分參數的確定 本文對LIVE數據庫[13]中的圖片進行測試，確定參數,和與評價函數的性能指標Spearman等級相關系數(SROCC)之間的關系。測試發現的取值對圖像的區間劃分影響不大，但由于,與評價函數的性能關系必須由已知的參數確定，因此，可先在0~1之間選取一個的初始值，建立參數,與評價函數的性能指標SROCC之間的關系如圖3所示，SROCC值越大則的性能越好。當SROCC取得峰值點時，參數,可得到最佳值分別為0, 25。根據,的最佳值可建立參數與SROCC之間的關系如圖4所示，當= 0.8時，SROCC可得到峰值點。因此，當,,時，的評價性能為最好。

圖3 參數, 與SROCC關系

圖4 參數b與SROCC關系

3 實驗結果與分析

3.1評價數據庫選擇

為了全面地評價本文算法對圖像各種失真類型的評價效果，采用美國TEXAS大學視頻工程實驗室的LIVE圖像數據庫[13]提供的圖像作為測試圖像。該數據庫包含了982幅圖像，涵蓋了5種失真類型：JP2K(JPEG2000), JPEG(JPEG), WN(White Noise), GBLUR(Gauss BLUR)和FF(Fast-Fading Rayleigh channel model)。各種失真類型均由29幅標準參考圖像經過人工處理得到。該數據庫提供了所有圖像的主觀差異評分值(DMOS)，其值越小圖像的主觀觀測質量越好。考慮到客觀評價與主觀視覺的非線性關系，采用文獻[14]中的Logistic函數進行線性補償如式(17)所示：

3.2擬合圖分析

選用PSNR, SSIM[5], VSNR[15], IW-SSIM[7], IFC[16], VIF[6], FSIM[8]和SFF[12]等方法作為本文算法的對比算法。其中，FSIM是在考慮相位一致性對圖像結構的影響的情況下提出的基于底層視覺特性的特征結構相似度評價方法；IW-SSIM則是分析信息量與最優感知權值之間的關系的基礎上提出的一個基于信息加權的結構相似度模型；VIF主要從信息通信和共享的角度解決圖像質量評估問題；IFC則是從信息保真度的角度衡量圖像質量。圖5為上述各評價算法與DMOS的擬合曲線圖。

圖5 客觀評價算法與DMOS的擬合曲線

分析可知，PSNR(如圖5(a))和SSIM(如圖5(b)) 明顯比其他幾種方法更為發散；在DMOS<40即圖像失真不太嚴重時，IW-SSIM(如圖5(d))和FSIM(如圖5(g))的擬合曲線散點分布與擬合曲線接近，但當圖像失真較為嚴重時(即DMOS>40)，散點分布趨于發散；包括本文算法(圖5(i))的其余方法(如圖5(f))均能夠在一定程度上與主觀感知一致性吻合。

3.3 客觀數據分析

試驗選用Pearson線性相關系數(Linearly Correlation Coefficient, LCC), Spearman等級相關系數(SROCC), Kendell等級相關系數(Kendell Rank Correlation Coefficient, KRCC)，均方根誤差(Root-Mean-Square Error, RMSE)，平均絕對誤差(Mean Absolute Error, MAE)等算法評價指標。其中，LCC, SROCC, KRCC等值越大，RMSE, MAE越小，表示被評價算法的性能越好。

(1)算法的性能比較： 由表1分析可知，本文所提算法的LCC, SROCC和KRCC等3個指標的值最大，而RMSE和MSE等最小，說明本文算法在主觀與客觀的一致性方面好于其他幾種對比算法。

表1算法的性能比較

(2)失真類型對比分析： 為了進一步對比各評價方法對不同失真類型的圖像評價效果，本文選擇LIVE圖像數據庫中JP2K, JPEG, WN, GBLUR和FF等5種不同失真類型的圖像庫進行測試。表2給出了上述9種算法針對5種不同失真類型下的LCC, SROCC, KRCC, RMSE和MAE的值。為便于比較需特別說明：對每種類型的失真，分別用粗體標出各評價指標最好的前3種，并將其中評價指標最優的數據用下劃線標出。

表2分類失真圖像測試

3.4算法復雜度分析

測試試驗平臺：AMD速龍2處理器，2 GB內存，WIN7專業版操作系統，Matlab7.0仿真軟件。從表3可以看出，本文算法處理時間相比于PSNR, SSIM, SFF有所增加，但評價效果遠優于上述算法；與評價效果較為接近的IW-SSIM, VIF, IFC, FSIM等算法相比，本文算法在評價過程中特征檢測矩陣環節只需訓練一次，其結果可作為一個常量來分析與調用，因而降低了運算的復雜度，實時性得到提高。

表3算法運行時間測試(s/圖像)

4 結論

本文從稀疏保真度的角度模擬人類視覺系統的視覺皮層感知機制，提出了加權稀疏保真度(WSF)評價方法。該算法選用小波變換將圖像分解到多個不同頻率特性的子帶空間，并采用快速獨立向量分析的方法提取各子帶空間的稀疏特征值，針對各子帶圖像對主觀視覺的不同重要性，建立模擬人類視覺系統的皮層感知機制以及多分辨率特性的模型。實驗證明，本文算法能夠有效提高現有算法在模擬人類視覺感知特性方面存在的不足，具有一定參考價值。

參考文獻

[1] 蔣剛毅, 黃大江, 王旭, 等. 圖像質量評價方法研究進展[J]. 電子與信息學報, 2010, 32(1): 219-226.

Jiang Gang-yi, Huang Da-jiang, Wang Xu,.. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226.

[2] 陳勇, 李愿, 呂霞付, 等. 視覺感知的彩色圖像質量積極評價[J]. 光學精密工程, 2013, 21(3): 742-750.

Chen Yong, Li Yuan, Lü Xia-fu,.. Active assessment of color image quality based on visual perception[J]., 2013, 21(3): 742-750.

[3] 郭迎春, 于明, 朱秋明. 基于子帶相似性分析的 JPEG2000 圖像無參考質量評價[J]. 電子與信息學報, 2011, 33(6): 1496-1500.

Guo Ying-chun, Yu Ming, and Zhu Qiu-ming. No reference image quality assessment based on subbands similarity and statistical analysis for JPEG2000[J].&, 2011, 33(6): 1496-1500.

[4] Vu P V and Chandler D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]., 2012, 19(7): 423-426.

[5] Wang Z, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[6] Sheikh H R and Bovik A C. Image information and visual quality[J]., 2006, 15(2): 430-444.

[7] Li C and Bovik A C. Content-partitioned structural similarity index for image quality assessment[J].:, 2010, 25(7): 517-526.

[8] Zhang L, Zhang D, and Mou X. FSIM: a feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[9] 李柯蒙, 邵楓, 蔣剛毅, 等. 基于稀疏表示的立體圖像客觀質量評價方法[J]. 光電子激光, 2014, 25(11): 2227-2233.

Li Ke-meng, Shao Feng, Jiang Gang-yi,.. An objective quality assessment of stereoscopic image based on sparse representation[J]., 2014, 25(11): 2227-2233.

[10] Bell A J and Sejnowski T J. An information-maximization approach to blind separation and blind deconvolution[J]., 1995, 7(6): 1129-1159.

[11] Saad M A and Bovik A C. Natural motion statistics for no-reference video quality assessment[C]. IEEE International Workshop on Quality of Multimedia Experience, San Diego, CA, USA, 2009: 163-167.

[12] Chang H W, Yang H, Gan Y,.. Sparse feature fidelity for perceptual image quality assessment[J]., 2013, 22(10): 4007-4018.

[13] Sheikh H R, Wang Z, Cormack L,.. LIVE image quality assessment database release 2[OL]. http://live.ece.utexas. edu/research/quality. 2014.4.

[14] VQEG. Final report from the video quality experts group on the validation of objective models of video quality assessment [OL]. ftp://ftp.its.bldrdoc.gov/dist/ituvidq/Boulder_VQEG _jan_04/VQEG_PhaseII_FRTV_Final_Report_SG9060

E.doc, 2003.

[15] Chandler D M and Hemami S S. VSNR: a wavelet-based visual signal-to-noise ratio for natural images[J]., 2007, 16(9): 2284-2298.

[16] Sheikh H R, Bovik A C, and De Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128.

Sparse Image Fidelity Evaluation Based on Wavelet Analysis

Chen Yong Fan Qiang Shuai Feng

(&,,,400065,)

To overcome the limitations of traditional image quality assessment methods, which are not well consistent with subjective human evaluation, a quality assessment algorithm of Weighting Sparse Fidelity (WSF) based on wavelet analysis is proposed. The arithmetic simulates nerve network of Human Vision System (HVS) as research point, the image is decomposed with wavelet into four-sub band images, which are divided into blocks at size of, then using Fast Independent Component Analysis training (FastICA) method to train the image blocks. Then, each image block sparse character matrix is extracted to calculate the sparse feature fidelity of the image and build the sparse fidelity quality evaluation model. On this basis, the image is divided into a plurality of interval according to the different details of the visual image information and a visual weight is set in each section, which can be consistent with subjective human evaluation. The experiment results on LIVE database show that the proposed method has a good evaluation of all kinds of distortion types and is highly consistent with human subjective evaluations. The proposed algorithm can effectively simulate the weighted visual cortex of the human visual system perception mechanisms, which compensates for deficiencies of existing image quality assessment methods.

Image quality assessment; Sparse feature fidelity; Independent Component Analysis (ICA); Human visual weighted; Consistency between subjective and objective evaluations

TN911.73

A

1009-5896(2015)09-2055-07

10.11999/JEIT150173

陳勇 chenyong@cqupt.edu.cn

2015-01-30收到，2015-05-05改回，2015-06-26網絡優先出版

國家自然科學基金(60975008)和重慶市教委科學技術研究項目(KJ1400434)資助課題

陳 勇： 男，1963年生，教授，研究方向為圖像處理與模式識別.

樊 強： 男，1989年生，碩士生，研究方向為圖像處理.

帥 鋒： 男，1990年生，碩士生，研究方向為圖像處理.