基于DWT和視覺加權的圖像質量評價方法研究

蔣銘，馬兆豐，辛宇，鈕心忻，楊義先

（1.北京郵電大學 網絡與交換技術國家重點實驗室信息安全中心，北京 100876；2.北京郵電大學 網絡與信息攻防技術教育部重點實驗室，北京 100876；3.天柏寬帶網絡科技(北京)有限公司，北京 100086）

1 引言

圖像質量評價是圖像處理中常考慮到問題，如圖像傳輸、處理及壓縮等技術中圖像降質問題，人們越來越注意研究結合基于人眼視覺特性的圖像質量評價方法。

圖像質量主觀的評價方法由于具有耗時長、費用高、穩定性差等固有缺點的限制，很少在圖像質量評價中被采用。圖像質量客觀評價方法仍有許多不完善之處，但其仍是圖像質量評價的主流發展方向。傳統的圖像質量客觀評價方法，主要通過計算圖像的統計誤差來實現圖像質量的評價，如均方差（MSE, mean square error）、峰值信噪比（PSNR[1],peak signal noise ratio），還有包括基于圖像的高階累積量的無參考的圖像質量客觀評價方法。然而對于最終接收者是人的應用場合，采用以上純粹的基于統計量的客觀評價方法得到的結果與由主觀方法得到的結果存在著一定的差異。如文獻[2]直接指出了峰值信噪比不宜用來評價信息隱藏技術[3]，因為PSNR在評價信息隱藏中數字水印技術的不可感知性指標上存在缺陷。因此更加符合實際需要的客觀圖像評價標準還有待建立和完善。

Eskicioglu等人指出[4]，在客觀評價方法中引入一些簡單的視覺模型，可以提高客觀評價方法與主觀評價方法的關聯度。這表明，圖像質量的評價與人眼的視覺模型是兩個不可分割的部分。因此，在實現圖像質量的客觀評價方法時，如果能將人眼的視覺特性考慮進去，將提高評價效果。

Mannos等人最先利用人眼視覺特性，建立相應的模型，并應用于圖像質量的客觀評價中[5]。之后很多研究者對Mannos等人的方法進行了擴展，深化，提出了很多基于人眼視覺模型的圖像質量客觀評價方法。M.iyahara M等人[6]基于人的視覺特性[7]和大量的工程實驗，給出了用于圖像編碼質量評價的PQS(picture quality scale)方法[8]，該方法是建立在 CCIR500系列圖像質量評價標準定義的圖像質量尺度的基礎上的圖像質量客觀評價方法，既考慮了全局特征，如隨機誤差，也考慮了局部化的干擾，如塊效應、關聯誤差及邊緣誤差。它是通過求各種失真因子來最后給出評判值，其不足是對很好和很差圖像的質量評價結果同MOS方法不十分一致。Wang Zhou和Bovik等人在2002年首次提出了結構信息的概念[9]，并給出了一種通用圖像質量指數UIQI（universal image quality index），該方法考慮了3個誤差因素：相關性丟失、亮度失真、對比度失真。作者認為：人眼視覺的主要功能是提取背景中的結構信息，而且人眼視覺系統能高度自適應地實現這一目標，因此對圖像結構失真的度量應是圖像感知質量的最好近似。在此基礎上給出一種符合人眼視覺系統特性的圖像質量客觀評判標準：結構相似指數SSIM（structural sIMilarity）[10,11]。同時SSIM也考慮了3個誤差因素：相關性丟失、亮度失真、對比度失真。但結果比 UIQI穩定，性能好。還有一些邊緣的圖像質量客觀評價方法，如馬苗等人在文獻[12]中給出了一種基于灰關聯 GL（grey correlation）的圖像質量評價方法等。

由小波分析理論可知，對圖像進行小波變換后，在小波域可以得到圖像的多個頻帶的信息，各頻帶都是原圖像不同分辨率的子圖，保持著原圖像的基本輪廓。由人眼的視覺特性曲線可知，人眼最為敏感的就是圖像的輪廓信息。因此小波分析的多分辨率特性適合人類的視覺特性。考慮到HVS對圖像信號的空間方向敏感性不一致，而原圖像的整體信息又和各子圖像小波系數的大小關系密切，由此出發，本文提出了一種新的客觀質量評價算法——基于小波變換的視覺加權峰值信噪比（WVWPSNR，wavelet and vision_weighted peak signal noise ratio）。該方法將圖像的DWT和HVS特性相結合，利用子圖分解以及視覺加權處理實現圖像質量的客觀評價。

2 基于MSE的圖像質量客觀評價方法缺陷

其中，1≤l≤L,L=1 000。這里x(l)為選取的原始DCT交流系數，w(l)為符合高斯分布的偽隨機水印序列，a為水印強度，x1(l)為嵌入水印后的序列。為了簡化起見，這里定義一個稱為嵌入偏移參數的量m，用于指定水印嵌入起始點相對于最大交流系數的偏移。因此，對于Cox的算法，m=0。這里選取m=0，m=10 000及m=50 000這3種情況，選取的水印強度a都是300，根據劉瑞禎等人的結果[14]，這3種

圖像質量的評價廣泛應用于醫學成像系統技術、圖像視頻壓縮技術、人臉識別技術等多種場合。這里選取一個數字水印的例子，來說明基于統計量的圖像質量評價方法存在的缺陷。水印算法采用Cox等人提出的基于擴頻通信的數字水印算法[13]。

由于這個例子主要是為了證明基于統計量的圖像質量評價方法存在的缺陷，而并沒有考慮數字水印方面的要求，比如不可感知性和頑健性，因此很多參數的選取都是為了證明基于統計量的圖像質量評價方法存在的缺陷的需要而設定。在Cox的水印算法中，將圖像進行DCT變換，然后將DCT系數按絕對值大小排列成一維序列，選取系數最大的1 000個交流系數作為嵌入水印的宿主媒體，按式(1)嵌入水印。情況下的MSE應該相等，實驗中有些偏差，認為是量化誤差，所得結果如圖1所示。

圖1 MSE評價圖像質量的缺陷

圖1可以看出，幾乎相同的MSE表現出的圖像質量的主觀評價存在很大差異，圖1(d)的主觀評價分肯定要比圖1(b)高。根據本文后述算法得出的3幅失真圖像與原始圖像之間的質量評價值分別為：27.173dB、33.536dB和37.949dB。結果更為符合主觀評價值。因此，研究人眼視覺系統及其特性，建立相應的人眼視覺模型并將其應用于圖像質量評價中，將是一件很有意義的事情。

3 基于DWT和視覺加權的圖像質量客觀評價方法

算法的立論依據是將圖像的DWT和人眼視覺特性有機地結合起來。由于 HVS對加載于不同空間方向和頻率子圖像上的噪聲具有不同的敏感度。結合小波分析理論，圖像經從DWT最終可被分解為一系列相互獨立的，對應于不同空間位置和方向的空間頻率通道。研究[15]表明，五到六級的小波分解與 HVS的低級信息處理機制最為接近，更加符合人眼視覺特性，但過大的數據運算量抵消了其實用價值，因此，一般認為四級小波變換是一種兼顧計算復雜性和精確性的折衷方案。

算法實現步驟如下。

1) 對標準圖像與降質的目標圖像分別進行四級DWT變換，各分成13個子圖圖像。

2) 每次只將原始圖像的一個子圖置換為目標圖像對應子圖而保持原始圖像其余子圖不變，然后進行逆DWT變換，得到修改過的圖像。將它與原始圖像通過MSE算法進行計算，得到一個MSE值。

3) 由于四級DWT變換將圖像分成了13個子圖像，所以依次按步驟2執行，即可以得到13個MSE，分別用MSE(j,θ)表示。

MSE(j,θ)是指子圖像(j,θ)對應的單子圖目標圖像的MSE值，其中j代表小波分解級數(j=1，2，3，4)；θ代表每層小波分解后子圖對應的 4個方向（θ=1，2，3，4），以3級小波分解為例，每層分解產生的子圖及其對應的方向示意圖如圖2所示。

圖2 圖像三級小波分解及對應方向示意圖

4) 加權值的計算：對圖像進行小波變換后，各子圖圖像質量對原始圖像質量的影響不盡相同，低頻成分影響最大，這里用子圖的F(j,θ)（式(2)）來表征子圖像系數的能量大小。

F(j,θ)的計算公式如下：

其中，fxy（j,θ）代表子圖像（j,θ）的小波系數，M、N分別表示小波子圖的長與寬。α參數為控制比例參數，經過實驗分析，α一般取值為0.5～1。由于小波分解為四級，所以F(4,4)值最大，對應著DWT變換的低頻子圖像。并通過（式(3)）計算各個子圖像與四級小波低頻子圖像在圖像能量上的比例因子，即歸一化系數W(j,θ)，并將此系數作為該子圖像質量影響原始圖像質量的歸一化權重系數。容易發現，W(j,θ)=1，即第四級小波低頻子帶影響最大，符合小波理論知識。其中W(j,θ)計算公式如下：

計算結果見表1。

表1 lena圖像加權系數W(j,θ)

5) 確定各子圖的視覺加權值后，計算原始圖像和降質目標圖像的加權均方誤差WMSE，公式如下：

對于位深度為8bit的圖像，其等效視覺加權峰值信噪比WVWPSNR為

4 實驗結果分析

分別用主觀評價方法，PSNR、SSIM、PQS、UIQI、GL和文獻[16]中的WWPSNR方法及本文提出的 WVWPSNR客觀評價方法對一系列降質圖像進行質量評價，通過比較圖像質量的主、客觀評價結果來進一步驗證本文方法的性能。

4.1 實驗1

1) 實驗目的。

驗證WVWPSNR方法的可行性和有效性。

實驗中選取LIVE圖像質量估計庫，由美國德州大學（The University of Texas）圖像視頻工程實驗室（LIVE, laboratory for image and video engineering）免費提供[17]。該圖片庫包括多幅彩色的原始圖像，還包括5 類失真圖像：JPEG、JPEG 2000、White Noise (白噪聲)、Gaussian Blur(高斯模糊)、FastFading(在fastfading 通道傳輸JPEG 2000碼流的過程中發生錯誤而失真的圖像) 。同時圖像庫還給出了平均主觀評分差值(DMOS)，DMOS 是主觀評分均值(MOS, mean opinion score) 和滿分(100) 的差值(DMOS= 100?MOS)，且 DMOS的取值范圍為[0，100]。本文通過DMOS計算出相應的MOS來作為主觀評價值。考慮到前面所述圖像質量客觀評價方法都是在灰度圖像上進行的，因此在實驗中都是將算法作用于彩色圖像中提取出來的灰度部分所得到的結果。

2) 實驗方法與步驟。

分別采用傳統的PSNR、SSIM、PQS、UIQI、GL等客觀評價方法、WWPSNR方法以及本文的WVWPSNR客觀評價方法對目標圖像進行評價。

3) 實驗結果。

采用上述方法獲得的MOS值與客觀評價結果如圖3所示，橫坐標表示測試圖像序號，縱坐標表示對該圖像進行質量評價的結果及 MOS值。由于各種圖像質量的評價值區間不統一，為了能夠較好地進行圖示比較，部分評價值倍乘了部分常數。如0.5×MOS表示MOS值倍乘0.5。

圖3 buildings圖像質量主、客觀評價對比

圖3可以看出，隨著圖像主觀視覺質量的升高，WVWPSNR評價結果表現出與圖像質量主觀分數MOS結果變化趨勢一致的評價結果，驗證了算法的可行性和可靠性。根據引言部分各種圖像質量評價方式的分析表明，SSIM方法和UIQI方法性能優于其他評價方法，本文 WVWPSNR方法表現出與以上 2種方法變化趨勢相似程度較高的結果，且WVWPSNR評價值與 MOS分數變化趨勢更加接近，驗證了本算法的有效性。

圖4 圖像質量評價對比

4.2 實驗2

1) 實驗目的。

比較各種圖像質量客觀評價方法性能，將其作用于上述圖片庫，將得到的客觀評價值與已知的MOS分數進行了相關分析，驗證客觀評價結果與圖像主觀視覺質量的相符程度及算法的優越性、穩定性。

2) 實驗方法與步驟。

將實驗1中測得的目標圖像的各種測試結果分別與 MOS進行相關性計算，求出圖像質量客觀評價方法與主觀評價方法的相關系數。其公式如下：

其中，n為圖像個數，MOS(i)表示MOS值，X(i)表示各種客觀評價方法的測試結果。歸一化相關系數NC越接近1，表示客觀評價值與主觀MOS值越具有線性相關性，即圖像質量客觀評價結果與圖像主觀視覺質量越相符。圖4是評價圖像質量對比圖。

橫坐標表示庫中圖像的種類數，縱坐標表示對各種圖像進行的質量評價值與MOS值之間的相關系數。

以上質量評價對比圖結果表明：PQS算法較差（由于該算法相關系數（如表2所示）與其他測試值相距甚遠，不利于曲線顯示），GL算法性能不夠優良，SSIM算法和UIQI算法在對待White Noise處理的圖像性能較弱，這是由于White Noise攻擊的特殊性造成的，其余評價結果均符合主觀評價標準。本文算法在各種方式處理后的圖像質量評價中均和主觀評價接近，主要由于本文算法所采用的小波分解特性更加符合人眼視覺特性。而對以上較常見的圖像處理方式，PSNR算法具有一定的普遍性，但是性能普遍低于WWPSNR、UIQI及本文的算法。但由于其復雜度最低，因此應用廣泛。

3) 實驗數據分析。

對相關系數NC進行均值統計（如表2所示）和標準差統計（如表3所示）。

均值分析表顯示本文所述方法的結果與主觀評價方法的結果較為一致，所得的客觀評價值與MOS值關聯度更高，算法優越性更佳。標準差分析表達數據顯示本文算法所得到的結果穩定性更加好。

4.3 實驗3

比較上述各種圖像質量客觀評價方法性能特征，主要表現在算法是否與人類視覺特性 HVS相結合以及算法的復雜度。算法復雜度體現在以上各種算法對圖像質量評價的時間。

表2 均值統計

表3 標準差統計

表4 算法時間統計

表5 算法性能特征

時間統計數據（如表4所示）表明PQS算法過于復雜，計算量大，速度慢，不適合實際應用。PSNR、SSIM、UIQI、及GL算法復雜度較小。本文算法復雜度不大，和WWPSNR相當。算法性能數據（如表5所示）表明除PSNR和UIQI算法，WWPSNR、SSIM、PQS、GL及本文算法均有效地結合了HVS。

綜合考慮，本文算法復雜度不大，且結合了HVS，性能較好。

5 結束語

雖然目前圖像質量客觀評價方法仍然有許多不完善之處，但客觀評價方法仍然是圖像質量評價的發展方向。本文利用了圖像的四級 DWT變換和 HVS思想實現了一種客觀圖像質量評價方法，評價結果與主觀評價結果具有更好的關聯度。目前還沒有一種很好的，能夠與 MOS完全一致的圖像質量客觀評價方法，因此，這需要進一步的研究。研究的方向包括繼續提高現有的各種基于灰度圖像的圖像質量客觀評價方法，尋找新的方法，以及研究基于彩色圖像的圖像質量客觀評價方法等。圖像質量的正確評價對于視頻圖像質量的評估有著重要的指導意義，在最新的視頻壓縮標準 H.264[18]中，在編碼過程中對視頻幀數據的質量評價除了傳統的PSNR方法外，已經引進了 SSIM 的方法。對于整體圖像信息工程的發展具有十分重要的意義，隨著多媒體信息技術的高速發展，對圖像質量評價的研究將越來越受到人們的重視。

[1]KATZENBEISSER S, PETITCOLAS F A P.Information Hiding Techniques for Steganography and Digital Watermarking[Z].Artech House, Inc.,2000

[2]尤新剛,郭云彪,周琳娜.峰值信噪比不宜用來評價信息隱藏技術[A].信息隱藏全國學術研討會(CIHW2000/2001)論文集[C].西安: 西安電子科技大學出版，2001.129 -134.YOU X G, GUO Y B, ZHOU L N.PSNR is improper to evaluate steganography technique[A].China Inform a tion Hiding Workshop(CIHW2000/2001)Ana Lects[C].Xian: Xidian University Press,2001.292-134.

[3]鈕心忻.信息隱藏與數字水印[M].北京:北京郵電大學出版社 2004.NIU X X.Information Hiding and Digital Watermarking[M].Beijing: Beijing University of Psots and Telecommunications Press 2004.

[4]ESKICIOGLU A M, FISHER P S.Image quality measures and their performance[J].IEEE Trans on Communication, 1995, 43: 2959-2965.

[5]MANNOS J L, SAKRISON D J.The effects of a visual fidelity criterion on the encoding of images[J].IEEE Trans Information Theory,1974, 4: 525-536.

[6]MIYAHARA M.Quality assessments for visual service[J].IEEE Communications Magazine, 1988, 26(10): 51-60.

[7]林仲賢、孫秀如編著.視覺及測色應用[M].科學出版社, 1987.6.LIN Z X, SUN X R.Vision and Color Measurement Application[M].Science Press.1987.6.

[8]MIYAHARA M, KOTANI K, ALGAZIV R.Objective picture quality scale (PQS) for image coding[J].IEEE Transactions on Communications, 1998, 46(9): 1215-1226.

[9]WANG Z, BOVIK A C.A universal image quality index[J].IEEE Signal Processing Letters, 2002 , 9(3): 81-84.

[10]WANG Z, BOVIK A C, SHEIKH H R,et al.Image quality assessment: From error visibility to structural similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[11]WANG Z, BOVIK A C, SIMONCELLI E P.Structural approaches to image quality assessment[A].Bovik A C.Handbook of Image and Video Processing(Second Edition)[C], New York, USA: Academic Press,2005:1-33.

[12]馬苗, 丁力, 郝重陽.數字水印的透明性的灰評判[J].計算機工程與應用, 2003.22:22-23.MA M, DING L, HAO C Y.Judgment of the imperceptibility of digital watermarking based on gray correlation degree[J].Computer Engineering and Applications, 2003.22:22-23

[13]COX I, KILIAN J.Secure spread spectrum watermarking for mulitmedia[J].IEEE Trans on Image Processing, 1997, 6(12): 1673-1687.

[14]劉瑞禎, 譚鐵牛.水印能量估計的一般性框架[J].計算機學報,2001, 24: 242-247.LIU R Z, TAN T N.A general watermarking framework for optimal energy estimation[J].Chinese Journal of Computers, 2001, 24: 242 -247

[15]BRADLEY A P.A wavelet visible difference predictor[J].IEEE Trans on Image Processing, 1998, 8(5): 717-730.

[16]丁藝芳.基于小波變換和視覺系統的圖像質量綜合評價新算法[D].上海: 上海大學, 2001.DING Y F.A New Algorithm for Integrated Image Quality Measurement Base on Wavelet Transform and Human Visual System[D].Shanghai: Shanghai University, 2001.

[17]SHE I H, WANG Z, CORMACK L,et al.LIVE image quality assessment database[DB/OL].http://live.ece.utexas.edu/research/ quality, 2006.

[18]畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[M].北京: 人民郵電出版社, 2005.BI H J.A New Generation of Video Compression Coding Standard H.264/AVC[M].Beijing: Posts and Telecom Press, 2005.