基于梯度方向分布的圖像質(zhì)量評估及其應(yīng)用

齊 歡 申維和 陳 曦 張洪源 崔廣濤

1.北京宇航系統(tǒng)工程研究所，北京 100076 2.空間物理重點實驗室, 北京 100076 3.北京航天自動控制研究所 北京100854

圖像質(zhì)量評估技術(shù)是其他各類圖像處理技術(shù)的基礎(chǔ)。對于圖像處理的各階段來說，在提出一種新的處理算法之后必然要對算法的有效性、可靠性以及實時性等進(jìn)行評定。只有準(zhǔn)確地評估圖像的質(zhì)量才能對圖像處理算法的性能做出合理的判斷。

人類視覺系統(tǒng)感知到的圖像受干擾程度與被觀測圖像內(nèi)容的特點有關(guān)，主要表現(xiàn)在圖像的對比度和結(jié)構(gòu)規(guī)則度2個方面[1]。其內(nèi)在原因是人類在觀測圖像時圖像的內(nèi)容對圖像中的干擾存在掩膜效應(yīng)。本文利用方向梯度直方圖的信息熵描述圖像結(jié)構(gòu)的規(guī)則度，比較圖像空間域灰度值得到與原始圖像亮度的相似性，通過對方向梯度直方圖標(biāo)準(zhǔn)化突出重點區(qū)域?qū)D像質(zhì)量變化的貢獻(xiàn)，提出了一種感知相關(guān)的全參考圖像質(zhì)量評估算法。在LIVE庫[2]上的實驗表明，本文算法與主觀評估的一致性較高，性能明顯優(yōu)于其他同類算法。另外，由于建立方式的優(yōu)點，應(yīng)用前景廣泛，適用于壓縮的衛(wèi)星圖像解壓后質(zhì)量和災(zāi)區(qū)受災(zāi)情況評估等領(lǐng)域。

1 方向梯度直方圖

方向梯度直方圖(Histograms of Oriented Gradients, HOG)[3]能夠有效描述圖像的局部特征。設(shè)計之初是為了建立用于行人檢測的描述人體形狀的特征描述子。HOG特征描述子的基本思想是圖像的局部梯度或邊緣方向可以用來刻畫圖像中目標(biāo)的外觀和形狀。該特征描述子在行人檢測方面取得了很好的效果，并被廣泛應(yīng)用于目標(biāo)檢測與識別領(lǐng)域。圖像的HOG描述子的計算步驟如圖1所示。

圖1 圖像的方向梯度直方圖計算流程

對于給定的圖像，為消除光照、陰影等對圖像或視頻中行人檢測的影響，首先對圖像進(jìn)行Gamma/色彩標(biāo)準(zhǔn)化。然后，再計算圖像的梯度。實驗發(fā)現(xiàn)，行人檢測的效果對梯度計算方式較為敏感，其中最簡單的一維檢測算子可以得到最好的檢測效果。接著將圖像劃分為若干個單元格，并以梯度大小為權(quán)值統(tǒng)計每個單元格內(nèi)像素的方向梯度直方圖。最后將多個單元格合并為一個圖像塊，并在圖像塊上進(jìn)行對比度標(biāo)準(zhǔn)化操作。因為最后一步進(jìn)行了對比度標(biāo)準(zhǔn)化， Gamma/色彩標(biāo)準(zhǔn)化對檢測結(jié)果的改善效果不明顯，因此在實際應(yīng)用中通常省略Gamma/色彩標(biāo)準(zhǔn)化步驟。

2 圖像質(zhì)量的表示

2.1 圖像結(jié)構(gòu)的規(guī)則度

圖像受到干擾影響后其結(jié)構(gòu)信息會發(fā)生變化[4]，進(jìn)而影響圖像結(jié)構(gòu)的規(guī)則度。圖像的HOG描述子能夠體現(xiàn)圖像中目標(biāo)的外觀和輪廓[3]。對于紋理密集而不規(guī)則的圖像區(qū)域(結(jié)構(gòu)不規(guī)則區(qū)域)，梯度方向各異，每個像素的方向比較均勻地分布于方向梯度直方圖的各區(qū)間內(nèi)；對于平坦區(qū)域以及梯度方向一致的邊緣區(qū)域(結(jié)構(gòu)規(guī)則區(qū)域)，圖像像素的梯度方向一致性較強，集中于方向梯度直方圖內(nèi)同一方向范圍內(nèi)。

本文利用HOG描述子描述圖像的結(jié)構(gòu)信息。為了更加細(xì)致、準(zhǔn)確地描述圖像所有細(xì)微的結(jié)構(gòu)信息，將HOG算法進(jìn)行了調(diào)整。首先，利用prewitt算子計算圖像中所有像素的梯度大小和梯度方向。然后，將0°到180°均勻劃分為3個方向區(qū)間，即[0°，60°]、[61°，120°]和[121°,180°]。最后，以圖像中的每個像素為中心劃定3×3的圖像鄰域，針對每個鄰域區(qū)域，以每個像素梯度的大小作為權(quán)值統(tǒng)計落入每個方向區(qū)間內(nèi)像素的個數(shù)，得到以圖像中每個像素為中心的鄰域區(qū)域的方向梯度直方圖。

信息熵是信息論中的重要概念。隨機(jī)變量的不確定程度越大，其信息熵越大。本文利用每個方向梯度直方圖的熵描述局部圖像結(jié)構(gòu)的規(guī)則度。

人類視覺系統(tǒng)對圖像中梯度變化較大的區(qū)域更加敏感，并且該區(qū)域通常包含圖像的重點目標(biāo)，而重點目標(biāo)的變化比背景區(qū)域變化對圖像質(zhì)量的影響更大[5]。如果直接利用干擾圖像和原始圖像局部區(qū)域梯度方向分布的相似度衡量干擾圖像的質(zhì)量，當(dāng)重點目標(biāo)所在區(qū)域梯度方向分布的變化程度遠(yuǎn)小于背景區(qū)域梯度方向分布的變化程度時，干擾圖像的質(zhì)量可能會被過估計。在求取每個局部區(qū)域的方向梯度直方圖之后，利用所有圖像塊的直方圖加權(quán)頻數(shù)總和對每個直方圖進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的頻數(shù)作為直方圖各方向區(qū)間的概率，通過此概率計算直方圖的熵得到標(biāo)準(zhǔn)化方向梯度熵圖[6]。方向梯度直方圖的標(biāo)準(zhǔn)化可以有效解決圖像各區(qū)域重要性不同的問題。

為了計算相對于原始圖像，干擾圖像的結(jié)構(gòu)規(guī)則度的變化，需要計算干擾圖像的梯度方向熵圖與原始圖像的梯度方向熵圖的相似度

(1)

式中，Ex和Ey分別為原始圖像和干擾圖像梯度方向的熵圖；C是為了避免分母為0的常數(shù)，這里取C=0.001。

圖2給出了5幅受到不同干擾的圖像，從上至下依次為白噪聲圖像、高斯模糊圖像、快衰落圖像、

JPEG2000和JPEG圖像，每幅圖像的右側(cè)依次對應(yīng)其熵圖和結(jié)構(gòu)規(guī)則相似度圖。白噪聲給圖像加入了紊亂的信息；高斯模糊干擾減少了圖像的信息量；快衰落和JPEG2000圖像中存在模糊和振鈴現(xiàn)象；JPEG干擾向圖像引入了假邊緣和模糊干擾。從圖中可以看出，各干擾圖像的標(biāo)準(zhǔn)化方向梯度熵圖可以體現(xiàn)圖像受到各類干擾后信息的變化。從結(jié)構(gòu)規(guī)則相似度圖中可以看出，對于白噪聲圖像，圖像中天空區(qū)域與原始圖像相似性更小，其他紋理密集的區(qū)域相似性更大。相反，對于其他存在模糊現(xiàn)象的干擾圖像，紋理密集區(qū)域的相似性更小。這恰恰反映了人類視覺系統(tǒng)對圖像干擾感知的特點。

圖2 不同干擾圖像的標(biāo)準(zhǔn)化熵圖和結(jié)構(gòu)規(guī)則相似度圖

2.2 圖像的亮度相似性

圖像亮度的變化是影響圖像質(zhì)量的重要因素[8]，而圖像結(jié)構(gòu)規(guī)則度并不能體現(xiàn)出圖像亮度上的干擾。因此，本文通過以下方式計算干擾圖像與原始圖像在亮度上的相似性，用以補充結(jié)構(gòu)規(guī)則度相似性的不足

(2)

式中，Ix和Iy分別是原始圖像和干擾圖像的灰度值；l是圖像灰度值的動態(tài)范圍，對于8bit灰度圖像，l=255。

3 基于梯度方向分布的圖像質(zhì)量評估

圖像結(jié)構(gòu)規(guī)則度和亮度信息從不同方面刻畫了圖像質(zhì)量的變化，兩者相互補充。將干擾圖像和原始圖像的結(jié)構(gòu)規(guī)則相似度圖與亮度相似度圖結(jié)合即可得到干擾圖像與原始圖像質(zhì)量的相似程度。由于結(jié)構(gòu)相似性圖與亮度相似性圖的取值范圍相同，因此質(zhì)量相似圖可以通過將兩種相似圖直接相加的方式得到。

Qs(i,j)=a·S(i,j)+(1-a)·Ls(i,j)

(3)

式中，a為調(diào)整結(jié)構(gòu)規(guī)則度和亮度對圖像質(zhì)量作用大小的權(quán)值參數(shù)。由于圖像中目標(biāo)的結(jié)構(gòu)能夠體現(xiàn)圖像傳達(dá)的主要信息，因此，在本文算法實現(xiàn)中，取a=0.8。

為了使得算法計算得到的客觀分?jǐn)?shù)與主觀分?jǐn)?shù)之間有更好的線性關(guān)系，將質(zhì)量分?jǐn)?shù)變換到對數(shù)域

Q=logaQ

(4)

根據(jù)經(jīng)驗，當(dāng)a<1時可以得到更好的質(zhì)量評估性能，文中a=0.5。

4 實驗結(jié)果與分析

為評定所提算法與人類視覺感知結(jié)果的一致性，本文利用LIVE主觀評估數(shù)據(jù)庫進(jìn)行客觀算法與主觀評估的相關(guān)性驗證實驗。LIVE數(shù)據(jù)庫包含29幅RGB彩色原始圖像以及5種類型干擾圖像：白噪聲(White Noise, WN)、高斯模糊(Gaussian Blur, GB)、快衰落(Fastfading, FF)和JPEG2000(JP2K)和JPEG。GB、FF干擾圖像各145幅、JP2K干擾圖像169幅和JPEG干擾圖像175幅。利用斯皮爾曼等級相關(guān)系數(shù)(Spearman rank-order correlation coefficient, SROCC)和皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient, PLCC)衡量客觀算法的圖像質(zhì)量分?jǐn)?shù)與主觀評估DMOS之間的單調(diào)性和準(zhǔn)確性。

將本文算法與5個同樣通過比較干擾圖像與原始圖像相似評估圖像質(zhì)量的客觀算法：SSIM[3]、IWSSIM[7]、ESSIM[8]、GSIM[9]和GMSD[10]比較。SSIM比較圖像結(jié)構(gòu)的相似度評估圖像的質(zhì)量；IWSSIM將各區(qū)域的互信息量作為SSIM質(zhì)量圖合并的權(quán)值；ESSIM通過邊緣強度的相似度衡量圖像的質(zhì)量變化；GSIM和GMSD通過計算梯度的相似度評估圖像的質(zhì)量，其中GSIM將梯度相似度與亮度相似度結(jié)合得到質(zhì)量分?jǐn)?shù)，GMSD利用圖像各區(qū)域梯度相似性差異的大小評定圖像的質(zhì)量。表1和2分別列出了利用各算法計算數(shù)據(jù)庫中圖像質(zhì)量的客觀分?jǐn)?shù)與圖像主觀DMOS的SROCC和PLCC。表中既給出單一類型干擾圖像的相關(guān)系數(shù)，也給出了數(shù)據(jù)庫中所有干擾圖像混合在一起的相關(guān)系數(shù)。

表1 客觀算法在LIVE庫上的SROCC比較

表2 客觀算法在LIVE庫上的PLCC比較

表1和2中將評估效果最好的算法結(jié)果進(jìn)行了加粗。從結(jié)果可以看出，無論SROCC還是PLCC，本文所提算法在多數(shù)類型干擾圖像上的實驗結(jié)果均優(yōu)于其他算法。特別是在所有干擾圖像混合情況下，本算法表現(xiàn)出最好的性能，是一種與主觀評估更加接近的客觀算法，完全可以滿足實際應(yīng)用的需求。

5 圖像質(zhì)量評估的應(yīng)用

圖像是人類表達(dá)和傳遞信息的主要媒介之一。圖像處理技術(shù)在日常生活、工業(yè)以及航天等領(lǐng)域占據(jù)了重要地位。圖像質(zhì)量的客觀評估是圖像處理流程中各階段技術(shù)的基礎(chǔ)。性能優(yōu)良的圖像質(zhì)量評估算法對于推動其他圖像處理技術(shù)乃至整個圖像應(yīng)用領(lǐng)域的發(fā)展起到關(guān)鍵性的作用。下面舉例介紹本文算法的相關(guān)應(yīng)用。

5.1 衛(wèi)星圖像壓縮回傳后的質(zhì)量評估

各類成像技術(shù)不斷發(fā)展，所獲取的衛(wèi)星圖像尺寸和精度都大大增加，在實時性要求和現(xiàn)有傳輸方式與存儲硬件的限制下，獲取的圖像必須先經(jīng)過某種方式的壓縮，然后傳輸?shù)降孛妫偻ㄟ^地面接收端對其進(jìn)行解壓縮從而獲取成像目標(biāo)的情況。 雖然目前圖像壓縮技術(shù)取得了一定的進(jìn)步，但在解壓后不可避免地會使圖像出現(xiàn)干擾，直接影響了圖像的質(zhì)量，進(jìn)一步影響圖像的應(yīng)用，因此基于圖像質(zhì)量對壓縮算法進(jìn)行評估和選擇是提高圖像應(yīng)用效果的關(guān)鍵。

傳統(tǒng)方式通常采用均方誤差(Mean Square Error, MSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)評估壓縮算法的性能。這種評估方式僅對簡單的加性干擾(如加性高斯白噪聲)類型圖像有較好的評估效果，對于其他大多數(shù)干擾圖像的評估結(jié)果與人眼感知的一致性較差。特別地，在壓縮圖像中通常包含依賴于圖像內(nèi)容的干擾(如JPEG、JP2K壓縮標(biāo)準(zhǔn))，MSE和PSNR評估壓縮圖像的效果并不理想。對于地面接收端，通常由人對圖像內(nèi)信息進(jìn)行判讀和理解。因此，壓縮圖像質(zhì)量的客觀評估效果應(yīng)適應(yīng)于人類視覺系統(tǒng)對圖像質(zhì)量的感知。本文所提的圖像質(zhì)量評估算法充分考慮了人類視覺系統(tǒng)的特性。因此，其對圖像質(zhì)量的評估結(jié)果與主觀評估的一致性很高。尤其對于JPEG和JP2K兩種壓縮圖像，與人類感知分?jǐn)?shù)的相關(guān)系數(shù)高達(dá)0.98及0.96以上。通過以上分析可知，本文算法適用于衛(wèi)星圖像壓縮解壓后的質(zhì)量評估，可以根據(jù)評估效果選擇最佳壓縮算法或者改進(jìn)壓縮算法，大大提高了圖像的應(yīng)用效果。

5.2 災(zāi)區(qū)受災(zāi)情況評估

地震、洪水和臺風(fēng)等自然災(zāi)害時有發(fā)生，不可避免地威脅財產(chǎn)和人身安全。第一時間對受災(zāi)情況進(jìn)行評估，對于指導(dǎo)災(zāi)后救助至關(guān)重要。通過比較受災(zāi)前后的衛(wèi)星圖像，快速判斷房屋、橋梁等毀壞情況，進(jìn)而判斷出受災(zāi)最為嚴(yán)重的地區(qū)。人工對圖像的判讀最準(zhǔn)確[11]，但是通常需要花費較長的時間，并且每個人之間存在一定的差異，不便于自動、實時地評估多個區(qū)域的建筑受損效果。傳統(tǒng)的圖像變化檢測方法通常直接計算圖像的差別[12]，如差值或者比值，評估結(jié)果與人工判讀差異較大。由于受災(zāi)前后的圖像質(zhì)量存在一定差異，利用本文算法通過評估毀損后圖像的質(zhì)量可以有效地評估建筑毀損的嚴(yán)重程度。本文算法將圖像中目標(biāo)的結(jié)構(gòu)信息作為評價圖像質(zhì)量的重要標(biāo)準(zhǔn)，因此其在提取毀損前后圖像中的重點目標(biāo)以及著重評估重點目標(biāo)的質(zhì)量變化方面有著更為優(yōu)秀的表現(xiàn)。

雖然在進(jìn)行算法效果驗證時，采用的是普通光學(xué)圖像。但是由于本文算法主要是基于圖像的結(jié)構(gòu)建立，與圖像類型的特點無關(guān)。因此，同樣適用于遙感圖像或雷達(dá)圖像的質(zhì)量評估。

6 結(jié)論

就結(jié)構(gòu)規(guī)則度和亮度信息對圖像質(zhì)量的影響進(jìn)行了深入探討，提出了一種基于圖像梯度方向分布的全參考圖像質(zhì)量評估算法，并介紹了該算法在實際工程中的應(yīng)用。在LIVE數(shù)據(jù)庫上的實驗表明，本文算法無論在單調(diào)性還是準(zhǔn)確性上均優(yōu)于其他同類型算法，與人眼感知更加一致。此外，由于建立方式上的優(yōu)點，該算法擁有廣闊的應(yīng)用前景。