基于頻域直方圖和HVS的彩色圖像質量評價算法

秦 川，李小飛

(長江大學工程技術學院，湖北荊州434020)

彩色數字圖像早已成為主流媒體形式，圖像處理和傳輸過程中會引入失真或噪聲，因此圖像質量評價［1］(IQA)成為關鍵。目前已有許多圖像質量評價方法:均方差(MSE)、峰值信噪比(PSNR)、PSNR-HVS-M［2］、結構相似性質量因子(SSIM)［3］、MS-SSIM［4］、通用質量指標(UQI)等。其中最簡單且應用最廣泛的IQA是MSE，然而MSE和PSNR均不能處理許多特殊情況，并且評價結果不夠準確，對于某些失真的敏感度較低。

主流圖像質量評價算法均基于圖像的空間域進行質量分析，而對于某些失真，空間域差異較小，但是頻率域差異明顯，本文對圖像頻率域進行直方圖分析。已有的部分圖像質量評價算法從不同角度考慮了人類視覺系統(HVS)的影響［5］，而本文從一個新的角度結合HVS特性，對彩色圖像質量進行評價，提出了HHBQA(基于直方圖和HVS的圖像質量評價)質量評價算法。HHBQA包括2個創新步驟:1)基于圖像頻率域做直方圖計算分析;2)利用HVS特征對評價結果進行權重分配。本文對彩色圖像的質量評價結果與實際感官高度一致，具有較好的準確性和敏感性。

1 相關知識介紹

1．1 YUV 變換

典型的彩色圖像顏色用RGB 3個通道表示，通常一個像素顏色占24 bit數據:紅、綠、藍分別占8 bit。彩色圖像分為壓縮和非壓縮兩種，通常彩色圖像壓縮先將RGB轉換為YUV顏色空間。

JPEG和JPEG2000采用YUV轉換，其正向轉換和逆向轉換分別如式(1)和式(2)所示

YUV轉換將原顏色空間去相關，并刪除部分信息從而使熵下降。而該部分刪除信息無法恢復，因此該轉換過程不可逆。JPEG2000中采用近似可逆分量變換(RCT)，表示為

因圖像壓縮并非本文關注點，所以本文采用RCT變換，即RGB轉換YUV(RCT)過程中無數據丟失。

1．2 傅里葉變換

傅里葉變換將信號轉換成若干三角波形疊加，其變換公式如下

其中，正弦曲線為ωk=2πk/N，相位為φk，正弦波形系數為ck。

數字圖像可由二維離散信號f(x，y)表示，因此，大小為M×N的二維圖像離散傅里葉變換為

其中

二維傅里葉變化可擴展為

其中

傅里葉系數是復數，其大小可由幅度和相位計算得到，假設FT系數為真實空間的一個向量，其大小和相位角分別如文獻［6-7］定義

1．3 圖像直方圖

已有研究大多針對圖像空間域做直方圖分析，如灰度直方圖。本文基于圖像頻率域做直方圖分析。利用傅里葉變換將二維圖像轉換為頻率域，所得圖像頻率分布圖即為圖像梯度分布圖，頻率表現了相鄰像素點間的變化劇烈程度，而傅里葉幅度值表示相應頻率占所有頻率的比重大小。

圖1a為Lena圖像(512 × 512，24 bit/pixel)，圖1b為Lena圖像經JPEG壓縮后的失真圖像，2幅圖片PSNR值均為27.67 dB。分別對圖1中原圖像Lena和失真圖像Lena的R、G、B 3個通道做傅里葉變換并得到相應的傅里葉系數，對所得傅里葉系數的幅度值做三維立體直方圖分析。結果如圖2所示，圖中三維立體直方圖均通過MATLAB mesh()函數繪制得到。

圖1 Lena原圖像和經JPEG壓縮過的失真圖像

由圖2可見，部分情況下利用PSNR值(空間域算法)無法評價圖像質量差異(圖中PSNR值均為27.67 dB)。而通過圖像的頻率域直方圖，可簡單清晰地辨別圖像差異(圖像頻率域直方圖差異明顯)。

2 HHBQA彩色圖像質量評價算法

HHBQA算法如圖3所示，由4部分組成:1)進行可逆YUV變換;2)對YUV每個通道的傅里葉變換結果進行直方圖計算;3)基于直方圖計算每個通道質量評價(HQA);4)基于HVS(人眼視覺特性)權重計算圖像總質量評價。

HHBQA算法流程:

1)利用RCT變換，將RGB彩色圖像轉換成YUV顏色空間。

2)首先將YUV 3個通道分別進行二維離散傅里葉變換，將空間域轉換為頻率域，計算得到YUV各通道的傅里葉系數。

其次利用YUV各通道的傅里葉系數，計算各頻率的幅度值直方圖:原圖像(H(YFT)，H(UFT)，H(VFT))，失真圖像

3)計算得到各通道的直方圖質量評價結果(YHQA，UHQA，VHQA)。

HQA由下式計算得到

ΔTCfactor表示直方圖差異因子，以Y通道為例，其差異如下計算得到

圖2 Lena圖像和失真Lena圖像的傅里葉幅度直方圖

式中:Δ表示原圖像和失真圖像直方圖間的差值。而原圖像和失真圖像的總差異(ΔTC)可由所有Δ相加得到

ΔTCfactor如下計算得到

ΔTCfactor區間為0～1，0為最嚴重失真，1為無失真。ΔTCmax為直方圖差異是2×M×N的極限情況。

HD值(直方圖失真)由相關經典公式表示

如同ΔTCfactor，HD最優值為1，表示無失真;0為最差值。

綜上可知，當ΔTCfactor=1且HD=1時，HQA值為最優值，等于1;當ΔTC=ΔTCmax時，HQA值為最差值，等于0。將以上算法應用于其他直方圖(H(UFT)和H(VFT))，可得YHQA、UHQA和 VHQA。

4)考慮 HVS［8］(人眼視覺特性)特點，對 HQA 結果(YHQA，UHQA，VHQA)進行權重分配。該步驟為本算法另一個創新點。

人類視網膜有2種光受體:視桿和視錐。視桿負責低亮度時的視力，無顏色識別功能，且幾乎無空間知覺。而視錐高亮度時活躍，并負責顏色感知和空間感知。眼球有近7百萬視錐和1億2千萬視桿。視桿負責亮度感知，而視錐負責顏色感知。由此可推導眼睛感知過程中，視桿和視錐的權重計算如下

圖3 HHBQA算法流程圖

式中:CW表示視錐的感知權重;RW表示視桿的感知權重。

由上可得HPQA方程

以上權重算法從新的角度考慮了人眼視覺特性，不同于其他經典IQA算法，此為本算法一大創新。

3 實驗結果與分析

圖4所示為原Lena圖像及一些Lena失真圖像，利用一些失真方法(銳化、中值噪聲、胡椒鹽、JPEG壓縮、高斯噪聲和模糊化)對其進行失真處理，處理過程中保持失真圖像與原圖像PSNR值相同(均為27.67 dB)，盡管各圖像PSNR值相同，但7幅圖像仍有明顯視覺感官差異，可見PSNR質量評價有時無效或者不精確。

圖4 Lena原圖像和幾種失真處理后圖像

第一組試驗:各圖像質量評價算法結果與真實人眼感知統計結果對比

1)為了對HHBQA進行性能衡量，利用 PSNR，PSNRHVS，MS-SSIM，SSIM和UQI進行圖像質量評價的對比試驗，利用MATLAB計算HHBQA質量評價結果，各質量評價方法結果如表1所示。

表1 不同失真類型的質量評價結果

2)為了對6幅失真圖像的真實人眼感知效果做出檢測，筆者請200位學生參與評價試驗。學生根據自身真實感官評價6幅失真圖像，并從作者設定的等級中(最好=6、很好=5、好=4、差=3、很差 =2、最差 =1)選擇評價結果。人眼感知分數統計結果圖如圖5所示。

圖5 失真圖像的人眼真實感官統計結果

從對比試驗可看出，PSNR-HVS-M結果顯示圖4d、4f質量優于其他圖像，甚至優于原圖像，明顯與真實感官差異較大。MS-SSIM值顯示圖4e差于圖4f、4g，與人眼真實感官統計結果不符;而且MS-SSIM各評價結果數值過于接近(算法敏感度不高)，而真實的人眼真實感官統計結果分布跨度較大，兩者也不符。而SSIM和UQI的結果均顯示圖4g質量好于圖4e和4f，顯然與實際不符。而HHBQA結果與人眼真實統計結果具有高度一致性，同時評價結果跨度較大，與人眼感官統計結果一致(跨度也較大)。可見HHBQA的敏感度及準確度與真實感官接近，優于其他算法。本實驗結合人眼感知系統證明HHBQA的性能。

第二組試驗:HHBQA與其他質量評價算法在乘性斑點噪聲失真下的質量評價結果對比

如圖6所示為1幅Peppers原圖和5幅經過乘性斑點噪聲(均值=0，方差=0.06～0.86)處理的失真圖像。

圖6 原Peppers圖像和5種斑點噪聲處理后的圖像

對圖6中全部5幅失真圖像計算各自PSNR，PSNRHVS-M，SSIM，UQI，MS-SSIM和HHBQA質量評價結果，結果如圖7所示，可看出其他5種IQA算法隨著方差值(σ2)均成指數分布，而HHBQA算法接近線性分布。對于乘性斑點噪聲失真處理，理論上失真圖像的視覺質量應該是隨著方差值(σ2)呈線性下降而非指數性下降，所以本算法與理論最為接近。而其他5種質量評價算法不準確，與理論有一定差異。該實驗從理論角度證明本算法的性能。

圖7 經斑點噪聲處理的Peppers圖像評價結果隨方差值的變化

第三組試驗:HHBQA與其他質量評價算法的處理時間對比(計算所需時間)

質量評價算法所需處理時間也是一個重要參數，直接影響算法的實時性。本實驗環境為:PC:Intel?Core i7 Q720(CPU 1.60 GHz，6 Gbyte內存)。利用 MATLAB2007對各質量評價算法進行了仿真，并對各算法所需的處理時間進行了統計(每個算法運行50次，然后取平均值)，結果見表2。

表2 不同質量評價所需處理時間

由表2可看出，本文算法計算所需時間最低，且大幅度低于PSNR-HVS-M。計算效率上，本算法有一定優勢，具有較高的實時性，并有較高應用價值。

第四組試驗:HHBQA與其他質量評價算法對失真的敏感度對比

從著名圖像庫(http://scien.stanford.edu/pages/labsite/scien_test_images_videos.php)選取12幅彩色圖像如圖8所示。(圖8a～圖8f size=341×512×3;圖8g～圖8 l size=512×341×3)，為了評價HHBQA在圖像低失真下的敏感度性能，選擇最低位比特替換數據隱藏的方式對圖像進行失真處理(該方法造成的失真較小)。對所有12幅圖像均進行最低位比特替換(LSB)數據隱藏處理(所有圖像的隱藏數據相同(數據大小為1.5 bit/像素))。盡管對12幅彩色圖像的數據隱藏失真處理參數一致，但理論上不同圖像經數據隱藏后的視覺效果應該會有差異。處理后的失真圖像評價結果如表3所示:可看出PSNR值均相同，無法判斷出圖像差異;PSNRHVS-M值非常接近(49.95～50.06);MS-SSIM除了圖8a之外，其他11幅圖像評價結果都一樣;SSIM值更加接近(0.997～0.999);UQI值也非常接近(0.976～0.999);HHBQA值跨度較大(0.427～0.933)，敏感度較高。這是因為其他評價算法大多基于空間域計算，對于一些低失真，從空間域難以區分圖像視覺效果差異。而本算法基于頻率域計算，并結合HVS的權重分配，所以本算法對低失真的敏感度較高，可以明顯區分失真圖像的視覺效果差異。

圖8 用作算法敏感度測試的圖像原圖

表3 經LSB處理過的圖像(1.5 bit/pixel)質量評價結果

4 小結

針對已有的基于空間域圖像質量評價算法準確度和敏感度不高的問題，本文設計了一種新的彩色圖像質量評價算法，創新地利用頻率域直方圖和HVS計算圖像質量。與已有同類算法相比，本文算法與真實視覺感官高度一致，對于低失真具有較好敏感性，本算法的計算過程也快于其他算法，在保持質量評價準確性的同時，具有實時性和高效性。

［1］高攀.一種基于顏色特征的圖像質量評價算法［J］.電視技術，2012，36(16):98-100.

［2］ PONOMARENKO N，SILVESTRI F，EGIAZARIAN K，et al.On between-coefficient contrast masking of dct basis functions［C］//Proc.Workshop on Video Processing and Quality Metrics.［S.l.］:IEEE Press，2007.

［3］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.Image Processing，2004，13(4):600-612.

［4］ WANG Z，SIMONCELLI E P，BOVIK A C.Multiscale structural similarity for image quality assessment［C］//Proc.Thirty-Seventh Asilomar Conference on Signals，Systems and Computers.［S.l.］:IEEE Press，2003:1398-1402.

［5］謝斌，任克強，肖玲玲.一種基于HVS的DCT域穩健視頻水印算法［J］.電視技術，2011，35(9):30-32.

［6］ FRIDRICH J.Digital image forensics［J］.IEEE Signal Processing Magazine，2009，26(2):26-37.

［7］ PEI SC，YEH M H，LUO T L.Fractional fourier series expansion for finite signals and dual extension to discrete-time fractional Fourier transform［J］.IEEE Trans.Signal Processing，1999，47(10):2883-2888.

［8］ CHEN SK，CHEW K S，MCNEILL D S，et al.Apoptosis regulates ipRGC spacing necessary for rods and cones to drive circadian photoentrainment［J］.Neuron，2013，77(3):503-515.