融合反向傳播的無參考模糊圖像質量評價

趙 月 王來花 王偉勝 喬麗娟 阮 泉

(曲阜師范大學軟件學院 山東 曲阜 273165)

0 引 言

文字作為傳輸信息最重要的載體，一直以來是人們獲取信息的重要途徑，但隨著數字圖像的出現和發展，平面圖像給人們帶來了文字無法直接展示的視覺信息，極大地豐富了人們的生活[1]。平面圖像可以給人們帶來更好的視覺體驗，可以更加真實地再現生活中的場景。圖像在電子商務、醫學診斷、智慧教育等各個領域都占有重要地位。它成為了人們獲取信息、表達信息和傳遞信息不可或缺的一部分。在圖像的采集、傳輸[2]、存儲和處理過程中，會出現模糊等一系列失真問題。高斯模糊會使得圖像中的對象不突出，嚴重的模糊失真無法辨別圖像中的細節。高斯模糊看起來像是通過半透明玻璃看圖像的效果，這將使圖像中的對象不夠突出，嚴重的模糊失真將使圖像中的細節變得難以辨認，因此圖像質量評價已成為重要的研究課題。

在圖像信息工程領域，如何高效、系統地評價模糊畸變圖像，引起了越來越多學者的關注[3]。Ferzli等[4]將明顯模糊的概念集成到概率求和模型中。Narvekar等[5]利用概率模型來估計檢測圖像中每個邊緣模糊的概率。Mitta等[6]推導出了一個盲目的IQA模型，它只利用自然圖像中觀察到的統計規律的可測量偏差，而沒有對人評定的失真進行培訓，而且確實沒有任何暴露于扭曲的圖像。Leclaire等[7]提出全局相位一致性，對清晰度指數及其簡化版本的了解更深入。Cao等[8]提出了高斯模糊圖像的無參考清晰度度量。Li等[9]和Yue等[10]利用改進的局部二值模式(Local binary pattern，LBP)提取特征來構建預測模型。Gu等[11]對模糊和噪聲混合失真圖像的質量進行評價。文獻[12]提出了一種新的靜止圖像無參考模糊指數，該指數基于以下觀察結果：在不同程度模糊的圖像版本之間可能很難感知。Li等[13]提出了盲圖像模糊評估離散Tchebichef矩的快速算法。Marziliano等[14]利用Sobel算子檢測垂直邊緣，并采用垂直邊緣的寬度來表征圖像的清晰度。上述方法在圖像質量評價方面取得了一定的成果，有的還成為了指導立體圖像[15-18]質量評價的重要依據。但是大多數情況下獲取原始參考視圖具有一定難度，而且針對模糊圖像邊緣檢測算子Sobel無法準確提取圖像中的邊緣。

本文通過對圖像上采樣和下采樣來度量圖像的自相似性，解決了無法獲得原始參考視圖這一問題。將所得的上采樣和下采樣圖片利用分水嶺算法標記出連通域，從而計算連通域的密度差值。之后通過Tamura紋理特征模型和拉普拉斯算子分別度量圖像的粗糙度和清晰度。最后利用BP神經網絡進行訓練來預測高斯模糊圖像的質量分數。通過在LIVE II、TID2013數據庫上的實驗表明了本文算法表現優于常用的評價方法。

1 本文方法

本文建立了一個無參考的高斯模糊圖像的質量評價模型，將失真圖像輸入模型，通過對高斯模糊失真圖像特征進行提取，然后用建立的BP神經網絡預測出圖像的質量分數。本文的具體結構框圖如圖1所示，具體步驟如下。

圖1 本文方法框架圖

步驟一將失真圖像上采樣和下采樣，對所得的兩幅圖像分別提取連通域，對兩圖像的連通域進行差值運算從而得到密度差值，并將其作為特征1。

步驟二特征2是Tamura紋理特征中的粗糙度。

步驟三利用拉普拉斯算子提取圖像的清晰度，作為特征3。

步驟四將特征1、特征2、特征3作為輸入進行BP神經網絡訓練和預測，最終輸出圖片的質量分數。

步驟五通過衡量標準對所得分數以及模型的好壞進行評價。

1.1 密度特征的提取與度量

像素的灰度值可以很好地反映圖像中的信息，一幅清晰圖像中的顏色要比模糊圖像中顏色更加多樣化。圖2給出了6種不同模糊程度的圖片，圖3給出了這6種圖片對應的灰度直方圖。由圖3不難發現圖像越模糊，圖像灰度直方圖中顏色變化范圍就越小。因此可以結合分水嶺算法根據灰度值的不同，將圖像按照區域進行分割，標記出連通域。灰度值變化范圍大的圖像，單位區域內顏色更加多樣化，連通域的數量更多。從而根據連通域的密度衡量圖像的模糊程度。

圖2 不同模糊等級的圖像

圖3 對應的灰度直方圖

圖像的放大和縮小不會顯著改變像素分布。當圖像尺寸增大時，構成圖像的像素的可見性將變高[19]。受結構相似算法原理的啟發，本文對失真圖像2倍上采樣獲得放大圖像I,同時對其2倍下采樣獲得縮小圖像I′，利用兩幅圖中連通域[20]的密度來衡量圖片的失真情況。

(1) 通過模擬浸入過程，將I和I′中灰度值相同的區域進行分割，從而在邊界處形成分水嶺，計算公式如下：

T[n]={(x,y)|I(x,y)

(1)

T′[n]={(x,y)|I′(x,y)

(2)

式中：T[n]是I中位于平面I(x,y)=n下方的點的坐標集；T′[n]是I′中位于平面I′(x,y)=n下方的點的坐標集；根據實驗篩選設置n=1。

(2) 分別標記T[n]和T′[n]中的連通域：

Yk=(Yk-1⊕τ)∩T[n]k=1,2,…

(3)

(4)

(3) 從圖4中可以觀察到標記出的連通域，不難發現不同程度的模糊，圖片中連通域的密集程度是不同的，圖片越模糊，圖片中連通域的密集程度越小。因此，本文用圖像中連通域的密度來表示圖片的模糊程度：

(5)

(6)

式中：A是連通域的總數；M和N分別代表圖像的長和寬；Ti代表了第i個連通域；B是上采樣圖片I中連通域的密度；B′是下采樣圖片I′中連通域的密度。

圖4 圖2中圖像的連通區域

(4) 將上采樣和下采樣后的連通域密度做差，用差值Q1衡量失真圖的模糊程度：

Q1=B-B′

(7)

圖5給出了圖2中6幅圖片的DMOS值和Q1的柱狀圖。DMOS值越大代表圖片的質量越好，可以看出兩者具有一致性，說明連通域的差值可以很好地反映圖片的質量，與人的主觀打分具有很好的一致性。

圖5 DMOS和Q1比較圖

1.2 粗糙度特征的提取與度量

粗糙度影響人類視覺對于紋理的感知[21]，本節利用粗糙度指標衡量模糊失真圖像的失真程度。

j-2m-1:j+2m-1-1))

(8)

式中：mean()是平均灰度函數；i和j分別是圖像中像素點的橫縱坐標。

(2) 對每個像素點分別計算水平和垂直方向上不重疊窗口之間的平均灰度值的差Ex和Ey：

(9)

(10)

(3) 根據每個像素點使Ex和Ey取得最大值時的m，計算每個像素點的最優窗口υbest:

υbest(i,j)=2m

(11)

(4) 將所有像素點的最優窗口的均值作為整幅圖片的粗糙度Q2：

(12)

圖6給出了圖2中模糊圖片的DMOS值和Q2的柱狀圖。DMOS值越大代表圖片的質量越好，可以看出兩者具有一致性，說明粗糙度可以很好地反映圖片的質量，與人的主觀打分具有很好的一致性。

圖6 DMOS和Q2比較圖

1.3 清晰度特征的提取與度量

拉普拉斯算子具有旋轉不變性，是一種二階微分算子，常用來進行邊界檢測。在一幅未失真的圖片中，由于邊界明顯，因此用拉普拉斯算子計算后，二階導數偏大。相反，一幅模糊圖片的二階導數就會偏小。本文根據這個原理，用拉普拉斯算子來度量圖片的清晰度。

Q3=-4I0(i,j)+[I0(i+1,j)+I0(i-1,j)+

I0(i,j+1)+I0(i,j-1)]

(13)

式中：Q3是圖片清晰度的質量分數。圖片越清晰，二階導數就會越大，Q3就越大。

圖7是DMOS值和Q3的直方圖。DMOS值越大，圖片質量越好。可以看出，清晰度可以很好地反映圖像的質量，并且與主觀評分具有良好的一致性。

圖7 DMOS和Q3的比較圖

1.4 模型建立

根據對連通域、粗糙度和清晰度的分析和度量，本文利用BP神經網絡建立高斯模糊圖像質量評價模型，來預測最終圖像的質量。

BP神經網絡是一種監督訓練多層網絡的算法，通過學習能夠使輸出結果的誤差平方和達到最小值。其計算過程由正向和反向組成[22]。信號首先從輸入層正向傳播，在輸出層得到輸出結果，通過代價函數求得與期望值的誤差。再通過隱含層反向傳播，獲得各隱含層的誤差信號，并通過梯度下降法反向計算誤差信號從而不斷地修正各隱層的權值。

本文將數據分為訓練、測試兩類，其中訓練數據占80%，測試數據占20%。為了保證實驗的有效性，隨機對數據劃分，并將訓練次數重復500次，最后將所得結果的中值作為該模型的輸出值。圖8給出了本文方法所采用的BP神經網絡的結構圖。密度差、粗糙度和清晰度是輸入層輸入的3個特征(特征1、特征2和特征3)，經過隱含層，到達輸出層，經過反復的訓練，最終得出失真圖像對應的質量得分。

圖8 神經網絡的結構圖

2 實 驗

在實驗過程中選用LIVE II數據庫[23]和TID2013數據庫[24]兩個數據庫進行測試。其中，LIVE II數據庫中包含29幅參考圖像，779幅失真圖像。此外，數據庫中還給出了失真圖像對應的DMOS值。TID2013數據庫包含25幅參考圖像和3 000幅扭曲圖像(25幅參考圖像×24種扭曲類型×5種扭曲級別)。所有的圖像都以位圖格式保存在數據庫中，沒有任何壓縮。此外，為了驗證本文方法的有效性，本文采用了SRCC、PLCC和RMSE三個評價參數作為衡量標準。SRCC和PLCC的范圍是[0,1]，值越大代表算法性能越好，RMSE范圍是[0,∞]，值越小代表算法性能越好。

為了探究數據集的劃分對實驗結果的影響。將LIVE II數據庫和TID2013數據庫中的高斯模糊圖片按照10% ∶90%、20% ∶80%、30% ∶70%、40% ∶60%、50% ∶50%、60% ∶40%、70% ∶30%、80% ∶20%和90% ∶10%比例劃分，分別計算出SRCC的值。在圖9中，橫坐標代表訓練集的比例，縱坐標代表500次SRCC實驗結果的中值，黑色線(圖中上方線)代表在LIVE II數據庫上的表現，灰色線(圖中下方線)代表在TID2013數據庫上的表現。可以看出，隨著訓練集劃分比例的增加，SRCC的表現逐漸增強。在80% ∶20%和90% ∶10%比例劃分中實驗結果相差不大。因此在本次實驗中將失真圖像按照訓練集80%，測試集20%的劃分比例，隨機劃分，重復500次，然后將結果的中值作為實驗的最終結果。

圖9 SRCC在訓練集上的表現圖

為了進一步證明結合密度差、粗糙度和清晰度這三個特征的必要性，本文給出了在LIVE II數據庫和TID2013數據庫上的散點圖，分別如圖10和圖11所示。數據分布越接近虛線，預測分數與主觀分數有更好的一致性，從而預測分數越接近于人眼觀察分數。

在圖10中，連通域特征相比于粗糙度和清晰度，與主觀分數有更好的一致性。進一步觀察圖10(d)，將三個特征融合后，比通過單一特征預測的質量分數有更好的一致性。在圖11中，單一特征預測的分數點較為零散地分布在虛線周圍，而融合三個特征后，圖中分數點較為緊湊的分布在虛線周圍。綜上所述，融合三個特征的表現明顯優于單一特征，而且與主觀評分的一致性更好。

(a) 連通域 (b) 粗糙度

(c) 清晰度 (b) 三部分圖10 在LIVE II數據集上的散點圖

(c) 清晰度 (b) 三部分圖11 在TID2013數據集上的散點圖

為了進一步驗證本文方法的優越性，在表1和表2中進一步給出了不同度量在LIVE II數據庫和TID2013數據庫上的PLCC、SRCC、RMSE值。數據一致表明，通過BP神經網絡預測出的質量分數，遠遠超過簡單的線性組合三部分。

表1 在LIVE II數據庫上的結果

表2 在TID2013數據庫上的結果

為了充分驗證本文算法的有效性，本文進一步將其與通用的質量評價方法和新近主流無參考模糊圖像質量評價算法進行比較，包括SISBLIM[11]、IL-NIQE[25]、NIQE[26]、NFERM[27]、JNB[4]、FISHbb[28]、LPC-SI[29]、MLV[30]、CPBD[5]、BIBLE[31]、文獻[32]算法、VFDP[33]、BIECON[34]、NLDOGM[35]、DPPNNP[36]、HOSA[37]、文獻[38]算法、文獻[38]+FT算法。

從表3中可以看出通用型算法的表現整體不及專用型算法。值得一提的是本文方法和BIBLE的PLCC均超過0.97，SRCC值位列首位，RMSE值僅次于NFERM，綜合三種衡量標準，本文方法可以有效評價LIVE II數據庫中高斯模糊圖像的質量。從表4中可以看出，兩類評價方法在TID2013數據庫上均未取得較好的表現，整體數值低于表3中的數值。本文方法的PLCC和SRCC值均超過0.85，整體表現僅次于文獻[32]提出的算法。然而文獻[32]是通過構建VGG與Inception相結合的深度網絡，算法復雜度遠高于本文。并且訓練過程消耗的資源遠高于本文采用的BP神經網絡。此外，通用型算法VFDP的表現雖優于本文方法，但需融合參考圖像與對應失真圖像的亮度通道，而實際應用中常常缺乏參考圖像。因此綜合算法復雜度及在數據庫上的表現，本文方法更具有優勢，更適合實際應用。

表3 在LIVE II數據庫上的對比結果

表4 在TID2013數據庫上的對比結果

3 結 語

本文提出了一種高斯模糊圖像的無參考質量評價方法。通過失真圖像的上采樣和下采樣，克服了全參考算法不能獲得高質量參考視圖的缺點，因此更適合實際應用。另外，通過對連通區域的分析，發現其與高斯模糊圖像的模糊度具有一致性，并通過實驗分析驗證了該方法的有效性。下一步的重點是研究一種沒有參考質量的通用方法。