基于小波變換的多尺度SSIM算法

錢 方，孫 濤，郭 勁，王挺峰

（1.中國科學院長春光學精密機械與物理研究所激光與物質相互作用國家重點實驗室，吉林 長春 130033；2.中國科學院大學，北京 100049）

1 引 言

圖像質量評價的應用十分廣泛，例如圖像的獲取、壓縮、傳遞、重構、增強，研究客觀質量評價方法的目的是為了自動預測感知圖像的質量。常用的圖像質量評價方法包括均方誤差（MSE）、峰值信噪比（PSNR）［1－3］，這兩種方法都是基于簡單比較兩幅圖像單像素灰度值差異，沒有考慮像素間的聯系以及灰度變化對周圍紋理、結構信息的影響，使得評價結果與主觀感知相差很大。Zhou Wang等人提出了一種基于結構相似度的圖像質量評價方法（SSIM）［4－5］，方法中考慮了人類視覺系統對圖像結構變化的關注，分析了亮度、對比度變化對圖像質量的影響，但是該算法對交叉失真圖像的評價不盡人意，還需要近一步改進。近年來，研究人員相繼提出了改進的SSIM算法，如基于梯度幅值的結構相似度（GSIM）［6］，該方法將梯度作為圖像的主要結構信息。重視邊緣區域的結構相似度（EH＿SSIM）［7］，該方法結合人眼對邊緣區域和非邊緣區域的感興趣程度來度量邊緣區域內顯著失真的程度。基于相位一致的結構相似度（MPCSSIM）［8］，該方法比較圖像的亮度、對比度以及相位一致函數，并將三者結合起來進行質量評價。以上各種方法都是從時域角度出發評價圖像質量，沒有考慮到圖像中不同頻率區域的失真對整體圖像質量的影響。

本文提出了一種基于小波加權的多尺度結構相似度圖像評價算法（WWMS－SSIM），該方法從頻域角度出發評價圖像質量，首先將原始圖像和失真圖像分別進行小波變換，劃分成為分辨率逐漸下降且頻率特征不同的子帶圖像，共包括1個低頻子帶和12個高頻子帶，然后在低頻子帶比較亮度和相關度信息，在高頻子帶比較對比度、相關度和結構信息，并依據對比度敏感函數響應值對不同頻率的對應子帶圖像進行加權，得出最終的評價結果。

2 WWMS－SSIM算法分析

近年來，在圖像處理中引入了多分辨率分析的思想，采用不同的分辨率分析圖像的不同物理結構，這樣可以更加精確的表述圖像的細節信息。例如，在低分辨率下人眼觀察到圖像大體的輪廓、邊緣信息，而在高分辨率下，圖像的特定形態，灰度起伏的細節信息則更加突出。相連接的紋理和灰度級相似的區域會引起人們的注意。如果物體的尺寸很小或對比度不高，通常需要較高的分辨率才能看清；物體的尺寸很大或對比度較高，就只需要較低的分辨率。一幅圖像中常存在細節尺寸大小和對比度高低不均的情況，這時以多分辨率的方法來處理圖像具有一定的優勢。

圖像多分辨率分析過程通常采用倍頻程劃分，在實際應用中，可以將圖像分解到不同的頻帶上單獨處理，進而實現這一過程。隨著小波理論的逐步完善，可以發現在圖像處理中應用小波分析的具有以下優點［9－12］：

（1）多尺度特性。通過小波分解，圖像會被分解成4個不同頻帶的子帶圖像，對應于通道LL，LH，HL，HH的輸出，分別給出了不同方向的邊緣結構信息。

（2）方向敏感特性。LL包括了圖像的低頻特征，LH包括了垂直方向高頻特征，HL包括了水平方向高頻信息，HH包括了對角線方向的高頻信息。

（3）局部分析特性。小波變換可以放大圖像中的邊緣或框架信息，其頻譜可以體現圖像的局部空間頻率。

通過以上分析可知，在圖像質量評價中，小波分解可以很好地模擬人類視覺系統特性，實現對圖像的多分辨率處理，進而可以清晰準確地知道圖像在各個不同頻帶，不同結構尺度下的失真情況。因此，本文提出了基于小波分解的多尺度SSIM算法。

2.1 圖像小波分解

分別對原始圖像和失真圖像進行小波變換，小波變換示意圖如圖1。

圖1 小波變換方框圖Fig.1 Wavelet transform map

尺寸為M×N的圖像f（x，y）的二維小波變換為：

通過小波逆變換得到重構后的f（x，y）：

大量的實驗結果表明，5～6級小波分解更加符合人眼視覺系統對圖像的觀測過程，但其運算數據量過大，因此，一般認為四級小波變換在保證精確性的前提下運算復雜性不高。本文將原始圖像和失真圖像分別進行四級二維小波變換，并采用sym8作為小波基函數，分解后得到13個分辨率不同的子帶圖像，其中包括一個低頻子帶和12個不同方向的高頻子帶。LL子帶包含了圖像的低頻部分信息，圖像的絕大部分能量以及細節信息，LH子帶包含了圖像的垂直邊緣信息，HL子帶包含了圖像的水平邊緣信息，HH子帶包含了圖像沿對角線方向的邊緣信息。小波分解過程中，其低頻子圖像被逐次分解為一系列分辨率逐漸降低的次級子圖像，如圖2所示。圖3和圖4為實際圖片的小波分解圖。

圖2 四級小波變換分解示意圖Fig.2 Four－scale wavelet transform map

圖3 四級小波變換分解實例圖Fig.3 Four－scale wavelet transform of lena image

圖4 圖像四級小波分解低頻子圖像Fig.4 Four－scale wavelet transform of LL

2.2 多尺度WSSIM算法

在圖像質量評估中，有許多因素將影響最終的評價結果。一般包括圖像的亮度、對比度、粗糙度。亮度過強或過弱都會使人眼細節分辨能力下降，同樣，對比度過強或過弱時，人眼分辨亮度差異的能力就會下降，同樣導致細節清晰度下降，圖像質量下降。從頻域的角度來看，高頻分量不足圖像將變得模糊，而高頻分量過多會造成圖像的粗糙。此外，圖像中的邊緣、紋理等結構不僅與單像素的灰度值有關，同時通過像素點間的灰度相關性體現出來。小波結構相似度（WSSIM）算法在原有的SSIM算法基礎上，引入相關度比較函數，充分考慮原始圖像與失真圖像間的相關性。

將原始圖像和失真圖像經小波變換后得到各自的子帶圖像，子帶圖像的小波結構相似度評價算法WSSIM包含4個部分，j為小波分解級數，i為小波分解方向，公式為：

亮度比較函數為：

對比度比較函數為：

結構比較函數為：

相關度比較函數為：

其中，μx和μy表示圖像塊x和y的平均灰度值，σx和σy分別表示圖像塊x和y的灰度標準差，σxy則表示圖像塊x和y之間的灰度協方差，p（x），p（y）分別表示圖像塊x和y的灰度矩陣。C1，C2，C3為很小的正數，防止分母為零或接近零造成的不穩定。

圖5 一組不同失真類型Lena圖像Fig.5 Lena images with different types of distortions

圖5中（a）是原始圖像，（b）是亮度失真圖像，（c）是對比度失真圖像，均為非結構性失真圖像，（d）～（f）分別是白噪聲、模糊、JPG壓縮失真圖像，均為結構性失真圖像。運用SSIM算法對圖5中圖像低頻和高頻部分分別計算亮度比較函數l，對比度比較函數c，結構比較函數s，為了方便計算，高頻部分通過公式（10）進行計算，計算結果見表1。

通過表1結果可以看出，在圖像的低頻分量中，亮度的改變對結果影響較大，而對比度和結構失真的影響較小，但在高頻分量中，對比度和結構的改變影響較大，而對亮度改變不敏感。通常圖像的低頻部分灰度起伏不明顯，對圖像細節內容和結構的決定作用較?。恢蓄l、高頻部分主要組成了圖像的邊緣，決定了圖像的細節和結構信息?；谝陨峡紤]，只在低頻部分計算亮度比較函數和相關度比較函數，在高頻部分計算對比度比較函數、結構比較函數和相關度比較函數。

表1 不同類型降質圖像評價結果Tab.1 Different types of images quality assessment

小波結構相似度（WSSIM）定義為：

參數α＞0，β＞0，γ＞0，主要用來調整3個部分的相對重要性，一般取α＝β＝γ＝1。

2.3 加權值的計算

人類視覺系統對不同方向和不同頻率的刺激存在不同的感知程度。對比度敏感函數（CSF，contrast sensitivity function）可以用來描述人類視覺系統對不同的空間、頻率所具有的不同敏感程度。大量實驗結果表明，對比敏感度是空間頻率的函數，且具有帶通濾波器的特性，其高頻端和低頻端對比敏感度響應值較低［13］。CSF函數的表達形式為：

其中：r為空間頻率。

對于一幅大小為M×N的圖像，行頻定義為：

列頻定義為：

空間頻率定義為：

當Rf＝0或Cf＝0，則r＝Cf或r＝Rf，得到垂直或水平方向的CSF曲線，曲線形式與式（13）相同。當Rf＝Cf，得到的即為對角線方向的空間頻率，代入式（13）得到對角線方向的CSF曲線，定義為：

通過公式（13）和（17），可以計算出水平或垂直和對角線方向的CSF曲線響應值。圖6和圖7分別是水平（垂直）和對角線方向的CSF曲線。本文中對圖像進行了四級小波分解，整幅圖像劃分為13個頻帶，據此將CSF特性曲線劃分為5個不同取值區間，即每個方向的子帶圖像對應取5個加權值（文中將HL和LH看作同一頻帶處理）。

圖6 水平／垂直方向CSF特性曲線Fig.6 CSF curve in HL／LH direction

圖7 對角線方向CSF特性曲線Fig.7 CSF curve in HH direction

從圖6和圖7中可以看出，對比敏感度曲線在低頻和高頻區域的取值較小，而在中頻區域取值較大。在實際圖像中，低頻部分包括大面積的平滑區域，形成了局部區域的基本灰度等級，但對細節信息的反映不多，中頻部分包括了圖像中的主要邊緣、細節信息，是灰度變化明顯的區域，是人類視覺系統主要關注的區域，高頻部分是中頻部分的細化和補充，包含了次要的邊緣等信息。采用對比敏感度對評價結果進行加權，突出了視覺系統更為關注的中頻信息在圖像中的影響，使評價結果和主觀感知更好的保持一致。

2.4 基于小波加權的多尺度SSIM算法

算法首先對原始圖像和失真圖像分別進行小波變換，在低頻子圖像上計算亮度比較函數和相關度比較函數，在高頻子圖像上計算對比度、結構和相關度比較函數，并在不同頻帶比較結果上乘以不同加權值，最后得到歸一化的評價結果。圖8為算法流程圖。

圖8 算法原理圖Fig.8 Diagram of the measurement system

3 實驗結果分析

3.1 不同失真類型圖像質量評價

圖9中為不同失真類型的Einstein圖像，它們的MSE和PSNR評價值相同，但從主觀角度出發，它們的失真效果并不相同。運用SSIM算法和本文算法 WWMS－SSIM對圖9中圖片進行質量評價，結果見表2。

圖9 一組不同失真類型Einstein圖像Fig.9 Einstein images with different types of distortions

表2 不同類型Einstein降質圖像評價結果Tab.2 Different types of Einstein images quality assessment

表2是對圖9所示的失真圖像進行分析的結果。從表2中可以清楚地看到圖像的降質程度并不相同，但MSE、PSNR的評價結果卻相同，說明這種基于灰度誤差的方法并不能給出正確的評價結果，而SSIM和WWMS－SSIM則與主觀評價更加符合。

運用SSIM算法和本文算法對圖5中Lena不同失真類型圖片進行質量評價，結果見表3。從主觀視覺角度觀察，圖（d）的質量要好過圖（e），但是SSIM算法卻認為圖（e）的質量要更好，做出了錯誤的判定，而 WWMS－SSIM算法則與主觀實際判斷一致。原因在于小波變換的特征與人類視覺系統的特征非常相近，小波各子帶圖像間加權因子的不同更凸顯了圖像的邊緣和紋理細節。

表3 不同類型降質Lena圖像評價結果Tab.3 Different types of Lena images quality assessment

從表2和表3的數據中可以看出，在對于高斯白噪聲和模糊失真等交叉失真圖像的質量評價過程中，有時SSIM算法會出現誤差。這是由于該方法計算過程中使用8×8的窗口從圖像的左上角至右下角逐個像素遍歷，這使得圖像出現人為造成的“塊效應”。此外，雖然噪聲等干擾因素均勻的分布于圖像中，但是人眼對圖像中不同區域的關注程度不同，SSIM算法是通過取所有“塊”中評價因子的平均值作為最終結果，所以該方法沒有考慮不同區域失真對人類主觀視覺感知的影響程度，導致評價結果與主觀評價不同。而本文算法采用多分辨率的思想，在不同的頻率區域采用不同的人類視覺敏感度加權值，使評價結果體現了區域視覺重要性，同時與主觀感知保持一致。

3.2 標準數據庫圖像質量評價

LIVE圖像數據庫提供了原始圖像和原圖的5種失真圖像（JPEG、JPEG2000、高斯噪聲、高斯模糊、快速衰減失真圖像）。目前，國際上通用的對客觀圖像質量評價算法的評價標準是VQEG制定的基于統計學的評價標準。研究人員給出了5種失真圖像的主觀評價值（DMOS），通過比較各種圖像客觀質量評價值與DMOS的對應關系，得出對該方法準確性的評估。當客觀評價值與DMOS不是成線性關系時，采用多參數非線性方程對客觀評價值進行擬合，使經過轉化的圖像客觀質量Quality（x）與DMOS的關系近似線性，便于進行比較。VQEG Phase II給出了非線性回歸擬合函數的形式［13］：

客觀質量評價值、擬合客觀質量Quality（x）和主觀質量DMOS的關系可以通過散點圖表示。散點圖中的每一個點表示一幅待評價圖像，其橫坐標表示客觀圖像質量評價算法對該圖像的評定值，縱坐標代表相應的DMOS值。理想情況下，客觀評價值和DMOS有一一對應的關系，表現在散點圖上是一條直線或在一定非線性范圍內的曲線。圖中分布的散點越收斂到一條直線或曲線附近，表明算法越能真實反映圖像的質量［13］。圖10為不同算法的散點圖和擬合曲線圖。

除散點圖外，基于統計學的評價算法標準還有線性相關系數（Correlation Coefficients，CC）、均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）和誤點率（Outlier Ratio，OR）［13］，它們可以定量的反映客觀評價算法的準確性。

圖10 主觀評價散點圖Fig.10 Scatter plots of DMOS

表4 圖像客觀質量評價指標Tab.4 Objective quality assessment

從表4中數據可知，與其他5種方法相比，WWMS－SSIM的CC值最大，說明該方法的質量評價值與圖像主觀評價DMOS值的相關性最好，更能準確的反映人眼主觀感受。而其MAE、RMSE和OR值最小，說明該方法的評價值誤差最小，更能真實的反映圖像的質量變化情況。

基于小波加權的多尺度（WWMS－SSIM）質量評價方法對圖像進行小波變換，體現了多分辨率的思想，突出了圖像的邊緣、細節信息在圖像中的重要作用，以及信息損失對圖像質量的影響，而根據CSF曲線確定加權值，對圖像不同頻帶、不同空間頻率的區域采用不同視覺權重，突出了中頻信息變化對圖像質量的影響，使評價結果更接近人類主觀感知。使用 WWMS－SSIM 方法對Live數據庫圖像進行評價，可以看出該算法的評估結果與主觀評價具有較高一致性。

4 結 論

主觀圖像質量評價算法因受到多種條件限制不利于在實際中廣泛應用；傳統的客觀評價算法基于像素灰度誤差，沒有考慮人眼視覺特性，與主觀評價存在差異；基于結構相似度算法對交叉失真圖像評價也存在缺陷。本文提出了一種新的基于小波分解的多尺度結構相似度評價算法（WWMS－SSIM）。通過對不同類型失真圖像和Live數據庫圖像的評價，表明本文提出的算法相對傳統的客觀評價算法（MSE、PSNR）、圖像結構相似度評價算法（SSIM）以及改進的SSIM 算法（GSIM，EH＿SSIM，MPCSSIM），其評價結果更符合人類的主觀感知。

［1］ 王宇慶，朱明.評價彩色圖像質量的四元數矩陣最大奇異值方法［J］.光學精密工程 ，2013，21（2）：470－471.Wang Y Q，Zhu M.Maximum singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng，2013，21（2）：470－471.（in Chinese）

［2］ 陳勇，李愿，呂霞付，等.視覺感知的彩色圖像質量積極評價［J］.光學精密工程，2013，21（3）：742－750.Chen Y，Li Y，Lv X F，et al.Active assessment of color image quality based on visual perception［J］.Opt.Precision Eng，2013，21（6）：742－750.（in Chinese）

［3］ 郁梅，孔真真，朱江英.基于視覺閾值及通道融合的立體圖像質量評價［J］.光學精密工程 ，2013，21（6）：1605－1612.Yu M，Kong Z Z，Zhu J Y.Stereoscopic image quality assessment based on visual threshold and channel fusion［J］.Opt.Precision Eng，2013，21（6）：1605－1612.（in Chinese）

［4］ Wang Z，Bovik A C，Hamid R S，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans.Image Processing，2004，13（4）：600－612.

［5］ Wang Z，Simoncelli E P，Bovik A C.Multi－scale structural similarity for image quality assessment［C］.IEEE Asilomar Conf.singnals，2003：1－4.

［6］ 楊春玲，曠開智，陳冠豪，等.基于梯度的結構相似度的圖像質量評價方法［J］.華南理工大學學報：自然科學版，2006，34（9）：22－25.Yang C L，Kuang K Z，Chen G H，et al.Image quality assessment based on gradient structural similarity ［J］.Journal of South China University of Technology：Natural Science Edition，2006，34（9）：22－25.（in Chinese）

［7］ 楊春玲，徐小琳.重視邊緣區域的結構相似度圖像質量評價［J］.中國圖像圖形學報，2011，16（12）：2133－2139.Yang C L，Xu X L.Structural similarity highlighting edge regions for image quality assessment［J］.Journal of Image and Graphics，2011，16（12）：2133－2139.（in Chinese）

［8］ 蘇媛媛，桑慶兵.基于相位一致結構相似度的圖像質量評價方法［J］.計算機應用，2012，32（8）：2283－2287.Su Y Y，Sang Q B.Image quality assessment based on phase congruency structural similarity［J］.Journal of Computer Applications，2012，32（8）：2283－2287.（in Chinese）

［9］ Cermak G W.Consumer opinions about frequency of artifacts in digital video［J］.IEEE J.of Selected Topics in Singnal Processing，2009，3（2）：336－343.

［10］ Tsai M J，Shen C H.Wavelet tree group modulation（WTGM）or digital image watermarking［C］.International Conference on Acoustics，Speech and Signal Processing，2007（2）：173－176.

［11］ Chandler D M，Hemami S S.A wavelet based visual signal－to－noise ratio for natural images［J］.IEEE Tran.on Image Processing，2007，6（9）：2284－2298.

［12］ Marcus J N，Julien R，Murat K.Wavelet－based color image compression：exploiting the contrast sensitivity function［J］.IEEE Trans.on Image Processing，2003，12（1）：58－69.

［13］ 錢方，郭勁，孫濤，等.基于小波加權的激光干擾效果評估［J］.液晶與顯示，2013，28（5）：781－787.Qian F，Guo J，Sun T，et al.Assessment of laser－dazzling effects based on weighted wavelet transforms［J］.Chinese Journal of Liquid Crystals and Displays，2013，28 （5）：781－787.（in Chinese）