基于小波高頻奇異值分解的無參考模糊圖像質量評價*

黃曉生，嚴 浩，曹義親，李亞琴

(1.華東交通大學信息工程學院；江西 南昌 330013；2.華東交通大學軟件學院，江西 南昌 330013)

近年來，無參考圖像質量評價(No-Reference Image Quality Assessment，NR IQA)方法的研究非常活躍，也是將來客觀圖像質量評價的發展方向[1]。通常，NR IQA方法可分為專用型(Application-Specific)方法和通用型(General Purpose)方法，專用型是指只對某一種失真有效或只在某一種應用場合有效，通用型則適用于任何失真及任何場合。由于通用型無參考圖像質量評價方法難度較大，目前大部分研究都是針對專用型[2]。在專用型NR IQA中，目前針對模糊失真類型的研究較多，Ferzl 等[3]使用恰可覺察模糊的概念對模糊圖像進行評價。Xie Xiaofu等[4]人通過將模糊圖像經低通濾波器構造近似參考圖像結合結構相似度(Structural Similarity，SSIM)進行評價。C.L等[5]和Mittal A等[6]通過統計原始模糊圖像和再模糊圖像結構區別，構建模糊圖像質量評價指標。Li Honglin等[7]則結合人類視覺特性提出一種改進的二次模糊評價算法。Yin Ying[8]通過奇異值分解(Singular Value Decomposition，SVD)提取模糊圖像與其經低通濾波后獲得的圖像結構特征，應用廣義回歸神經網絡模型對圖像的特征向量進行訓練學習，得到圖像的模糊值。Sang Qingbing等[9]根據圖像相位一致性原理，通過獲取相位一致圖像的信息熵、能量、對比度等五個特征，結合支持向量機(Support Vector Machine，SVM)訓練建立評價模型。Ciancio 等[10]則利用多種空域圖像特征，采用神經網絡模型對模糊圖像進行評價。這些評價算法大體可以歸結為兩類，一類是將模糊圖像經過濾波處理構造參考圖像，比較圖像經過濾波前后特征信息的差異作為評價指標，如文獻[4-8]，其中文獻[4]與文獻[8]通過低通濾波構造近似的原始參考圖像，而文獻[5-7]將圖像經高通濾波構造二次模糊參考圖像。另一類是先將圖像經過一定的變換獲取圖像的特性信息，再利用機器學習與主觀得分訓練不同特征信息對圖像質量的影響，從而得出最終的評價指標，如文獻[8-10]。這兩類方法中，第一類方法需要構造參考圖像，而第二類方法需要與主觀評價訓練學習，都增加了時間消耗，計算量大，實用性不強。

本文根據圖像小波分解同尺度不同方向高頻子帶小波系數的相關性隨著模糊程度加深迅速降低、圖像高頻子帶結構差異變大的性質，利用奇異值分解獲取圖像高頻子帶結構特征，將同尺度不同方向高頻子帶奇異值向量夾角作為質量評價指標。提出的方法無需訓練或構造參考圖像，算法運行簡單快捷，在三個圖像數據庫實驗驗證均表現出與主觀評價的一致性，具有良好的實用性。

1 圖像小波分解與模糊失真

對圖像進行小波變換, 可得到一系列不同分辨率的子帶圖像，其中低頻子帶是低通濾波的結果，它主要包含了圖像的近似信息；高頻子帶是高通濾波的結果，主要包含了圖像的細節信息，這些細節信息，通常表現了圖像邊緣變化的敏銳程度。研究表明，圖像經小波變換后其同尺度不同方向的子帶小波系數具有較強的相關性，尤其是在圖像的邊緣結構信息中，相關性更為明顯，而模糊失真圖像丟失了圖像的高頻細節，使得圖像變得平滑，導致模糊圖像的小波高頻子帶間只具有弱相關性或者無相關性[11]。從圖像空間結構看，這種相關性反應了圖像高頻子帶間的邊緣結構具有相似性，圖像的小波金字塔也顯示了各尺度各子帶在空間上具有結構相似性[12]。圖1(b)-(f)所示分別為”parrots”原始無失真圖像與不同程度模糊失真圖像的兩層小波分解圖，同時圖像給出了圖像一層小波分解后三個高頻子帶間小波系數的皮爾遜相關系數的平均值，從圖1(b)可以看出原始圖像同尺度不同方向的高頻子帶之間的邊緣結構最為相似，皮爾遜相關系數ρ最大，而圖1(c)-(f)為模糊失真圖像的同尺度異方向高頻子帶間的邊緣結構差異較大，且相關系數ρ隨著高斯函數標準差σ的增加(失真程度的加深)而降低。為此本文利用奇異值分解獲取模糊圖像高頻子帶的奇異值向量作為子帶的結構特性，通過度量高頻子帶間奇異值向量的差異可作為圖像的客觀質量評價值。

圖1 原始圖像與模糊失真圖像的小波分解

2 基于高頻奇異值分解的圖像質量評價算法

2.1 圖像的奇異值分解

SVD是一種將矩陣對角化的數值算法，由于圖像可以用二維矩陣表示，因此圖像亮度矩陣也可以進行奇異值分解，SVD具體定義為：若有矩陣A∈Rm×n，則存在正交矩陣(或酉矩陣)U∈Rm×m和V∈Rn×n使得A可以如(1)式表示出：

A=USVT

(1)

圖像經SVD后得出的奇異值向量包含了圖像的主要結構信息，若剔除圖像的奇異值向量，圖像質量將大為改變，如圖2(b)所示為“parrots”原始圖像經奇異值分解后將上式中S2換成同維單位矩陣得到的圖像，從中可以看出圖像的結構信息幾乎完全被屏蔽。

圖2 原始圖像與剔除奇異值的圖像

圖像SVD的這種特性在FR IQA中有著較為深入的研究[14-16]，文獻[16]還通過實驗驗證了基于SVD的評價方法在圖像發生平移、旋轉、縮放等幾何變換時仍能表現出的良好的評價標準。在NR IQA領域，殷瑩[8]也進行了有益的嘗試，提出了一種針對模糊圖像的無參考圖像質量評價算法。該算法首先對圖像進行高斯低通濾波變換產生參考圖像，其次對高斯低通濾波前后的圖像分別進行奇異值分解，然后構造公式計算圖像高斯濾波前后的奇異值改變量作為圖像的特征向量，最后應用廣義回歸神經網絡模型對圖像的特征向量進行訓練學習，得到圖像的模糊值，取得了較好的效果。但這種方法一方面需要構造參考圖像，另一方面還需進行訓練學習，增加了算法的復雜度。

由上面分析可知，圖像的高頻子帶表達了圖像的細節信息，這些細節信息主要反映了圖像中的邊緣結構，而SVD分解所得的奇異值向量很好地提取圖像的邊緣結構信息，同時，圖像小波變換后其同尺度不同方向高頻子帶具有較強的相關性，這種相關性隨圖像的失真程度增加而減弱，并且圖像模糊失真主要是引起圖像高頻信息的變化。因此，本文提出利用SVD獲取圖像不同方向高頻子帶的結構信息，通過比較高頻子帶間奇異值向量的差異來度量圖像質量。通常，兩向量間的差異或相似程度可用向量間的夾角來表示，因此，本文定義下式來表示高頻子帶SVD奇異值向量間的相似程度，并作為度量質量的指標：

Angle (V,hatV)=

(2)

圖3 圖像高頻奇異值夾角與模糊失真程度

2.2 基于高頻SVD的圖像質量評價算法

根據前面分析，本文通過度量圖像三個高頻分量間的奇異值向量夾角來作為圖像的質量評價指標，提出基于高頻子帶奇異值分解(High Frequency Singular Value Decomposition，HFSVD)評價算法，其具體步驟如下：

1)將待測圖像經Harr小波單層變換獲取模糊失真主要改變的三個高頻分量：垂直(Vertical)分量Iv、水平(Horizontal)分量Ih，對角線(Diagonal)分量Id。

2)利用奇異值分解獲取待測圖像三個高頻分量的奇異值向量：垂直分量奇異值向量Sv，水平分量奇異值向量Sh，對角線分量奇異值向量Sd。

3)利用式(2)分別計算三個高頻分量之間的奇異值向量的夾角：Angle (Sv,Sh)、Angle (Sv,Sd)、Angle (Sh,Sd)分別表示垂直分量與水平分量的奇異值向量夾角、垂直分量與對角線分量的奇異值向量的夾角及水平分量與對角線分量的奇異值向量夾角。

3 實驗結果與分析

目前在圖像評價領域常用的三個公開圖像數據庫為：美國德州大學奧斯汀分校的LIVE2、美國俄克拉荷馬州立大學的CSIQ以及烏克蘭航空航天大學的TID2013[18-20]，其中LIVE2數據庫提供174幅模糊圖像，含29幅原始圖像及其按5級模糊失真獲得的145幅失真圖像，給出了所有圖像的差分主觀評分(Differential Mean Opinion Score，DMOS)值，范圍為0～100；CSIQ數據庫提供150幅模糊圖像是通過對30幅原始圖像經歷5種不同水平失真獲得，給出的DMOS范圍為0～1；而TID2013數據庫提供了125幅模糊圖像，由25幅原始圖像經歷5級不同程度的失真獲得，并給出了所有圖像的主觀評分(Mean Opinion Score，MOS)，范圍為0～9。將提出的HFSVD算法分別運用在三個數據庫中進行驗證，最終獲得圖像客觀評分與主觀評分的散點圖如圖4所示，從圖中可以看出HFSVD在三個數據庫中都與主觀評價具有良好的一致性。

圖 4 HFSVD客觀評價與主觀評價散點圖

為進一步分析HFSVD算法性能，將獲得的圖像客觀質量評分與數據庫提供的主觀評分運用下式帶5個參數的logistic函數進行非線性回歸：

β4x+β5

(3)

采用常用的兩個判斷標準來分析客觀評價與主觀評價的一致性：非線性回歸后得出的評分與主觀評分的線性相關系數(Correlation Coefficient，CC)及回歸后預測評分與主觀評分的斯皮爾曼等級秩序相關系數( Spearman Rank Order Correlation Coefficient，SROCC)，兩者的值都在0～1之間，其值越大代表評價算法越接近主觀評分。與FR IQA相比，目前NR IQA的研究尚處于起步階段，還沒有一個公認的參考標準，本文選擇文獻[3]、[5]、[7]、[8]算法進行比較，結果見如表1。其中本文提出的HFSVD算法與文獻[3]均不需要事先構造參考圖像和訓練學習，但文獻[3]結合了人類視覺特性(Human Visual System, HVS)，增加了復雜性，而本文算法的SROCC和CC指標優于文獻[3]。與文獻[7]算法相比，SROCC相近，但文獻[7]需要構造參考圖像增加了計算量，且其只驗證了在LIVE2數據庫上的有效性。本文算法SROCC和CC較文獻[5]及文獻[8]稍差，但文獻[5]與文獻[8]都需要訓練學習，增加了時間消耗和計算復雜度，其中性能最好的文獻[8]還需事先構造參考圖像，而本文算法無需構造參考圖像或訓練學習，運行更簡單快捷，在2.1 GHz的Core2 Duo CPU的matlab運行1 s大約可評價5-6幅分辨率為768*512的圖像。

表1 本文算法與文獻中算法的比較

4 結 論

針對當前無參考模糊圖像質量評價算法中大多數需要事先構造參考圖像或需要訓練學習，使得存在的大多數算法計算復雜，實用起來不夠方便的問題，提出一種基于圖像高頻奇異值分解的評價方法，該方法根據圖像在小波變換下隨著圖像模糊失真程度加深，同尺度不同方向高頻子帶間小波系數相關性降低、子帶間結構差異增加的性質，結合奇異值分解獲取圖像三個高頻分量的奇異值向量作為各子帶的結構特征，計算三個高頻子帶間奇異值向量的夾角來反應子帶間結構差異并作為最終的圖像質量指標。通過在三個數據庫上進行的實驗，驗證了該方法與主觀評價具有較好的一致性，且本文算法無需構建參考圖像或訓練學習，計算簡單快捷，具有良好的推廣性。

參考文獻：

[1]蔣剛毅, 黃大江, 王旭，等. 圖像質量評價方法研究進展[J]. 電子與信息學報, 2010, 32(1): 219-226.

[2]高新波, 路文. 視覺信息質量評價方法[M]. 西安:西安電子科技大學出版社,2011:105-106.

[3]FERZLI R, KARAM L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB) [J].IEEE Transactions on Image Processing, 2009, 18(4): 717-728.

[4]謝小甫, 周進, 吳欽章. 一種針對圖像模糊的無參考質量評價指標[J]. 計算機應用, 2010, 30(4): 921-924.

[5]LI C, YUAN W, BOVIK A C. No-reference blur index using blur comparisons[J]. Electronics Letters, 2011, 47(17): 962-963.

[6]MITTAL A, SOUNDARAJAN, BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing letters, 2012, 20(3): 209-212.

[7]李鴻林, 張琦, 楊大偉. 無參考模糊圖像質量評價改進算法[J]. 計算機應用, 2014, 34(3):797-800.

[8]殷瑩. 基于奇異值分解的無參考模糊圖像質量評價方法[J]. 激光與紅外, 2013, 43(7): 809-813.

[9]桑慶兵, 李朝鋒, 吳小俊. 基于灰度共生矩陣的無參考模糊圖像質量評價方法[J]. 模式識別與人工智能, 2013, 26(5): 492-497.

[10]CIANCIO A, DA COSTA ALN. no-reference blur assessment of digital pictures based on multi-feature classifiers [J]. IEEE Transactions on Image Processing, 2011, 20(1): 64-75.

[11]胡曉輝, 張曉穎, 陳俊蓮. 一種融合小波變換和數字形態學的圖像邊緣檢測算法[J]. 鐵道學報, 2011, 33(3): 45-48.

[12]郭迎春, 于明, ZHU Qiuming. 基于子帶結構相似性分析的JPEG2000圖像無參考質量評價[J]. 電子與信息學報, 2011, 33(6): 1496-1500.

[13]張賢達. 矩陣分析與應用[M]. 北京: 清華大學出版社, 2004: 344-350.

[14]MANISH NARWARIA, WEISI LIN. SVD-based quality metric for image and video using machine learning[J]. IEEE Transactions on Systems, 2012, 42(2): 347-364.

[15]張飛艷, 謝偉, 陳榮元，等. 基于視覺加權的奇異值分解壓縮圖像質量評價測度[J]. 電子與信息學報, 2010, 32(5): 1061-1065.

[16]騫森, 朱劍英. 基于奇異值分解的圖像質量評價[J]. 東南大學學報：自然科學版, 2006, 36(4): 643-646.

[17]張宇, 劉雨東, 計釗. 向量相似度測度方法[J]. 聲學技術, 2009, 28(4): 532-536.

[18]SHEIKH H R, BOVIK A C, SESHADRINATHAN K, et al. Image and video quality assessment research at LIVE 2004[EB/OL]. [2014-04-12].http://live.ece.utexas.edu/research/quality/.

[19]LARSON E C, CHANDLER D M. Categorical image quality (CSIQ) database 2009[EB/OL]. [2014-04-13]. http://vision.okstate.edu/?loc=csiq/.

[20]PONOMARENKO N, LUKIN V, ZELENSKY A, et al. tampere Image Database 2013(TID 2013) [EB/OL]. [2014-04-13]..