基于多元特征的立體圖像質量評價方法

史玉華，張 闖，2，遲兆鑫

（1.南京信息工程大學 電子與信息工程學院，南京 210044；2.江蘇省氣象探測與信息處理重點實驗室，南京 210044）

0 概述

立體圖像質量越高，人們從中獲得信息越豐富，視覺體驗也越舒適。在立體圖像成像及處理過程中，由于經過采集、編碼、壓縮、傳輸、存儲、顯示等步驟，圖像失真或者質量下降都是難以避免的，因此必須使用立體圖像質量評價（Stereoscopic Image Quality Assessment，SIQA）方法來衡量立體圖像的質量。SIQA 結果也是圖像采集、傳輸、還原的一個標尺。

SIQA 分為主觀SIQA 和客觀SIQA 兩類。主觀SIQA 是人們根據主觀感受給圖像打分，其過程復雜耗時。因此，主觀SIQA 很難應用于實際工作中。客觀SIQA 是根據圖像統計信息來評價，其應用廣泛，分為全參考（Full Reference，FR）、半參考（Reduced Reference，RR）和無參考（No Reference，NR）。FR-SIQA 以原始圖像作為對照，評估失真圖像質量；RR-SIQA 只需要原始圖像的部分信息；NR-SIQA 不需要原始圖像的信息，相比FR-SIQA 和RR-SIQA，其具有更廣的應用前景。

SIQA 的研究重點是構建符合人類視覺系統的感知模型，實現圖像質量的準確預測。由于2D 圖像和3D 圖像的成像機理不同，并且3D 圖像的每個視圖不僅會產生單目失真，還存在對稱或非對稱單目失真，包括雙目混淆、深度感知誤差、視覺不適等雙目失真，因此SIQA 與圖像質量評價（Image Quality Assessment，IQA）的本質差異是SIQA 不僅考慮立體圖像左右視圖的單目失真，還考慮其雙目的立體感知特性，如深度、視差等。

文獻［1］利用2D IQA 模型的方法研究SIQA。文獻［2］提出基于2D IQA 的NR-SIQA，該方法分別計算左視圖和右視圖的質量，并將2 個質量得分相結合來預測3D 圖像的質量得分。文獻［3］通過研究多種不同的2D IQA，并將其分別應用于SIQA，再輔以視差信息評價圖像質量。由于這些方法未考慮人們視覺特性，對于立體圖像質量的預測達不到很好的效果，尤其是引入不對稱失真時，評價效果更差。文獻［4］提出采用疊加立體圖像視差/深度特征算法，對立體圖像質量實現了較準確的評價，表明深度是影響人眼立體感知的重要特征。

隨著深度學習的發展，文獻［5］提出一種傳統算法與深度學習算法結合的方法——基于雙目自相似性（Binocular Self-similarity，BS）和深層神經網 絡（Deep Neural Network，DNN）的NR-SIQA 方法。文獻［6］將卷積神經網絡（Convolutional Neural Network，CNN）應用于SIQA，利用2 個卷積層、2 個池化層進行特征提取，并在網絡最后層引入多層感知機（Multilayer Perceptron，MLP），將學習到的特征進行全連接得到質量分數。文獻［7］采用多任務CNN 同時學習圖像質量預測和失真類型識別。

基于深度學習的SIQA 方法沒有考慮立體圖像的深度性和顯著性，無法準確反映立體圖像的感知質量。本文提出一種基于多元特征的SIQA 方法。通過提取失真圖像對的深度顯著性特征、對比度特征和亮度系數歸一化特征作為CNN 的輸入特征進行訓練，評價立體圖像的質量。

1 基于多元特征的SIQA

1.1 圖像特征提取

在IQA 中，人眼注意不到的圖像信息屬于冗余信息。IQA 方法在對圖像進行系統訓練過程中剔除一些質量不高的數據以提高方法的有效性［8］。立體圖像的顏色、深度、邊緣等特征在人眼對圖像的理解中具有重要作用，也是IQA 的重要因素。因此，本文模擬人眼視覺特性，提取立體圖像的深度顯著特征和對比度特征作為網絡的輸入。

1.2 立體圖像深度顯著性特征

視覺顯著性體現了人眼的關注度，圖像中優先被人眼感知的區域稱為圖像顯著性區域。研究表明圖像的失真會導致顯著圖發生變化［9］。圖像顯著性特點使得圖像顯著性本身和圖像質量息息相關。從心理和物理角度來看，視覺顯著性受低層次特征（如顏色、邊緣、深度信息）影響［10］，低層次特征對顯著性信息提取具有一定作用，而傳統深度學習方法通常無法很好地學習圖像的低層語義特征。因此，本文構建一種基于圖像融合的立體圖像顯著性特征提取模型。深度顯著性特征提取流程如圖1所示。首先，通過左右視圖相減求得視差圖，并對視差圖進行高斯差分濾波器（Difference of Gaussian，DoG）［11］得到立體圖像的深度特征；其次，改進SDSP［12］模型以提取立體圖像的顏色、邊緣顯著；最后，將深度特征圖和顯著圖融合得到最終的立體深度顯著圖。

圖1 深度顯著性特征提取流程Fig.1 Extraction procedure of depth saliency feature

1.2.1 立體圖像深度特征

深度信息能有效反映物體的深度變化程度，是立體圖像深度感知特征的重要衡量指標［13］，深度信息一般通過計算左右視圖的視差圖來獲取［11］。由于DoG［11］濾波器與神經元的接收區相似，并且能夠模擬人眼視覺系統（Human Visual System，HVS）的中心環繞機制［14］。DoG 濾波過程如圖2 所示。

圖2 DoG 濾波過程Fig.2 Filtering process of DoG

本文采用DoG 濾波器對視差圖進行處理以提取立體圖像的輪廓特征和深度邊緣特征，具體過程如式（1）所示：

其中：（x，y）為該點像素的坐標；σ為控制濾波器尺度。本文σ1設置為1，σ2設置1.6。

失真圖與深度特征圖如圖3 所示，圖像庫包含高斯模糊（Gussian Blur，BLUR）、快衰落（Fast Fading，FF）、JP2K（JP2000）、JPEG壓縮、白噪聲（White Noise，WN）。失真圖如圖3（a）～圖3（e）所示，對應生成的深度特征圖如圖3（f）～圖3（j）所示。從圖3 可以看出，利用DoG 濾波器能夠更準確地提取出目標的輪廓和邊緣紋理特征。

圖3 失真圖與深度特征圖Fig.3 Distortion images and depth feature images

1.2.2 顏色與邊緣特征提取

SDSP 模型［12］提取的特征圖像只關注圖像的中心位置，造成信息損失，但人眼更容易感知邊緣位置的變化。本文通過邊緣顯著取代中心位置顯著，改進SDSP 模型。首先，暖色比冷色對人更具吸引力；其次，帶通濾波能準確地模擬人類視覺系統在視覺場景中檢測到顯著物體的特征［12］；最后，人眼對于圖像邊緣的變化敏感。

本文通過提取這3 種圖像形成獨眼圖，作為圖像的顯著特征圖，最終顯著圖的計算方法如式（2）所示：

其中：SC為點x處的顏色顯著；SF為點x處的顯著性；SE為邊緣顯著。

失真圖與顏色、邊緣顯著圖如圖4 所示，5 種失真類型下的失真左視圖如圖4（a）～圖4（e）所示，對相應失真圖像提取的顏色、邊緣顯著圖如圖4（f）～圖4（j）所示。從圖4 可以看出，該方法能夠準確地提取圖像的邊緣、顏色等視覺顯著特征并減少信息損失。

圖4 失真圖與顏色、邊緣顯著圖Fig.4 Distortion images and color，edge saliency images

1.2.3 圖像融合

圖像融合具有圖像增強、相互補充信息、去除噪聲和冗余的優點。圖像融合的方法包括基于加權平均的融合方法、基于主成分分析的融合方法、多尺度變換的融合方法和基于小波變換的圖像融合方法。

小波變換有水平、垂直和對角三種高頻子帶，是一種正交變換［15］，具有完善的重構能力。小波變換能夠將立體圖像的深度特征和顯著特征融合從而得到立體圖像深度顯著圖。深度顯著圖如圖5 所示，從圖5 可以看出，通過融合實現了圖像邊緣，深度等特征的互補作用。

圖5 深度顯著圖Fig.5 Depth saliency images

1.3 立體圖像對比度特征

對比度特征是立體圖像的底層特征之一，能夠充分表達立體圖像的內容，對基于人眼視覺感知的SIQA方法具有積極的作用。立體圖像對比度的提取方法是通過自適應找到分割閾值向量以增強立體圖像對比度。圖像庫5 種失真類型中失真圖與對比度特征圖如圖6 所示，在圖像失真嚴重的情況下，對比度特征圖能準確反映圖像的結構。

圖6 失真圖與對比度特征圖Fig.6 Distortion images and contrast feature images

1.4 亮度系數歸一化

如果將左視圖或右視圖直接作為CNN 輸入，導致算法耗時過長，這對處理圖片數量較多的情況是不利的。如何在提高算法求解速度和精度的同時保留立體圖像結構特征是亟待解決的問題。

文獻［16］發現失真程度不同的自然圖像經過亮度系數歸一化后，其概率密度更符合高斯分布。這種亮度系數歸一化后的圖像所保留的結構，被證明能夠提高IQA 的性能［17］。

MSCN 概率密度分布大致左右對稱，符合高斯分布的特點。失真圖和提取的亮度系數歸一化特征如圖7 所示。本文通過亮度系數歸一化處理左右視圖，相應概率密度分布如圖8 所示。MSCN系數由于失真的存在從而改變特征統計特性，量化這些變化可以預測影響圖像失真類型及其感知質量。

圖7 失真圖和亮度系數歸一化圖Fig.7 Distortion images and brightness coefficient normalization images

圖8 概率密度分布Fig.8 Probability density distribution

2 SIQA 網絡結構

CNN 中VGG Net 結構簡單且具有較高的有效性，將其應用到SIQA 模型中。VGG-16 有5 段卷積，每段內有2、3 個卷積層，卷積核的大小均為3×3，每段的卷積核數量相同。5 段卷積中的卷積核數量逐次遞增：64、128、256、512、512。在第1～4 段內每段卷積后連接1 個池化層，主要是減小圖片尺寸，網絡最后層有3 個全連接層。

網絡中全連接層過多存在參數冗余、深度信息損失多、空間結構性表達不足等問題。針對以上問題，CNN 結構如圖9 所示。

本文在已有的VGG-16 網絡基礎上做了改進：在第5 段卷積結束后，將得到的6 個特征層級聯再進行1 次卷積和池化，最后連接1 個全連接層。改進后的網絡能夠最大程度保留立體圖像的深度特征，同時減小內存，提高算法的速度和精度。在網絡最后的全連接層中加入dropout 層以防止過擬合現象，丟失率設置為0.5。

目標變量和預測值之間的平方距離之和如式（3）所示：

其中：yi為目標變量的真實值為預測結果。

3 實驗與分析

3.1 數據準備

本文采用圖像庫是德州大學奧斯汀分校和視頻工程實驗室制作的LIVE 3D Image Quality Database—Phase I［18］/Phase Ⅱ［19］圖像庫以及由Mobile3DTV和MPEG 提供的NBU-3D 圖像庫［20］。LIVE 3D 圖像庫包含5 種失真類型的圖像，分別為JP2K、JPEG 壓縮、Blur、White Noise、Fast Fading。其中Blur 失真共含45 組圖像共90 張，另外4 種失真類型每種含80 組圖像，各160 張圖像，共730 張圖像。NBU-3D立體圖像測試庫包含12 對原始立體圖像和312 對失真立體圖像，包含Blur、White Noise、JPEG、JP2K 以 及H.264 編碼5 種失真類型，左右圖像均為失真程度相同的對稱失真，并給出每組失真立體圖像的DMOS值。DMOS 值越低代表圖像質量越好，反之代表圖像質量越差。

LIVE 3D IQA Phase I 圖像庫JP2K 失真的左視圖和右視圖如圖10 所示，失真程度從左到右遞減。

圖10 LIVE 3D IQA Phase I 圖像庫不同DMOS 對應的JP2K 失真圖像對Fig.10 JP2K distortion image pairs corresponding to different DMOS on LIVE 3D IQA Phase I image library

3.2 實驗過程

本文提出NR-SIQA 方法總體結構如圖11 所示。首先設計圖像特征提取函數制作數據集，提取了3 種立體圖像特征組合成特征圖像數據集。由于存在全連接層，因此輸入圖像的維度必須是固定的，將圖像切塊為128 像素×128 像素作為輸入，圖像庫提供DMOS 制作為標簽。圖像庫中圖片失真為均勻失真，所以每個輸入塊的質量分數與原圖像相同。對CNN進行訓練以預測圖像的質量分數。最后預測DMOS為一幅圖像中所有圖像塊DMOS 的平均值。為防止過擬合，本文方法將數據集隨機分配得到訓練集和測試集，數量比例為4∶1。

圖11 NR-SIQA 方法總體結構Fig.11 Overall structure of NR-SIQA method

本文選取皮爾森線性相關系數（Pearson Linear Correlation Coefficient，PLCC）、斯皮爾曼秩相關系數（Spearman Rank Correlation Coefficient，SROCC）、均方根誤差（Root Mean Square Error，RMSE）對模型進行評估［21］，其中，PLCC 衡量模型預測的DMOS 和圖像庫提供的DMOS 之間的相關性；SROCC 衡量兩個變量之間的單調相關性；RMSE 用于衡量預測DMOS 和DMOS之間的偏差。PLCC 和SROCC 的值越接近1，表明預測值和真值之間的相關性越高。RMSE 值越低表明預測值和真值差距越小，模型的預測效果越好。

3.3 實驗結果與分析

本文圖像庫的數據以4∶1 分為訓練集和測試集。模型訓練的意義在于使預測的質量分數盡量向圖像庫提供的質量分數靠近。在顯卡GTX 1050Ti、處理器i5 的電腦上進行實驗，批次大小為10，迭代次數為5 000，模型訓練時間和測試時間如表1 所示。3 個圖像庫制作的數據集中隨機選取1/5 的圖片作為測試集，模型測試圖片數和每張圖片測試時間如表2 所示。從表2 可以看出，模型測試時間可以達到實時。

表1 不同圖像庫模型訓練時間和預測時間對比Table 1 Training time and prediction time comparison of model on different images library

表2 不同圖像庫模型測試圖片數量和每張圖片測試時間Table 2 Number of test pictures and test time per picture of model on different images library

為了更全面地分析實驗結果，LIVE 3D IQA Phase I 中5 種失真類型下預測DMOS 和圖像庫中DMOS 散點線性擬合如圖12 所示。說明本文提出圖像質量評價方法無論在總體還是在5 種失真類型下得到的結果都具有較好的主觀一致性。

圖12 LIVE 3D IQA Phase I 圖像庫不同失真類型的DMOS 散點線性擬合Fig.12 DMOS scatter linear fitting of different distortion types on LIVE 3D IQA Phase I image library

本文方法在LIVE 3D IQA Phase II 上預測的結果如圖13 所示，與LIVE 3D IQA Phase I 相比，LIVE 3D IQA Phase II 包含240 對不對稱失真圖片。從圖13 可以看出，本文方法在LIVE 3D IQA Phase II上取得了較好的預測效果，針對非對稱失真圖像也能較準確地預測出質量分數。

圖13 LIVE 3D IQA Phase II 圖像庫不同失真類型的DMOS 散點線性擬合Fig.13 DMOS scatter linear fitting of different distortion types on LIVE 3D IQA Phase II image library

本文方法在NBU 3D IQA 圖像庫訓練后預測結果如圖14 所示。由圖14 可以看出，本文方法在NBU 3D IQA 圖像庫上的預測結果與人類感知具有較高的一致性。

圖14 NBU 3D IQA 圖像庫的測試結果Fig.14 Test results on NBU 3D IQA image library

本文選取13 種有代表性的方法與本文提出的方法進行比較。一類包括7 種FR-SIQA 方法［1，3，22-26］；另一類是6 種NR-SIQA 方法［17，19，27-30］。在這6 個NR-SIQA方法［28-30］中，文獻［19］是基于深度感知的3D NR-SIQA指標；文獻［29］將一組手工制作的自然場景統計特征作為稀疏自編碼器的輸入，通過softmax回歸匯總到其相應的質量得分。文獻［30］提出的模型是基于孿生神經網絡，以2 個圖像塊作為輸入，對2 個輸入圖像塊之間質量分數進行排序。與其他基于深度學習的SIQA不同，本文方法是從人眼視覺特性和立體圖像的感知特征出發，結合深度學習，實現立體圖像的多元特征到質量分數的映射。

在LIVE 3D IQA Phase I、LIVE 3D IQA Phase II 和NBU 3D IQA 圖像庫不同方法的評價指標對比如表3和表4 所示。表中－為原論文沒有提供相應的實驗結果，也沒有找到相應的源代碼來重現實驗結果。

表3 LIVE 3D IQA Phase I和Phase II圖像庫不同方法的評價指標對比Table 3 Evaluation indexs comparison among different methods on LIVE 3D IQA Phase I and Phase II image library

表4 NBU 3D IQA 圖像庫不同方法的評價指標對比Table 4 Evaluation indexs comparison among different methods on NBU 3D IQA image library

從表3 和表4 可以看出，無論是NR-SIQA 還是FR-SIQA，本文方法在3 個圖像庫均取得了較好的性能，特別是在LIVE 3D IQA phase II 圖像庫上。本文方法所預測的DMOS 與原始DMOS 具有較好的相關性，進一步證明該方法在SIQA 方面的有效性。

10 種方法在LIVE 3D IQA phaseⅠ和phaseⅡ圖像庫不同失真類型的評價指標對比如表5 和表6 所示。本文方法在單個失真類型上具有穩定的性能。

表5 LIVE 3D IQA phase I 圖像庫不同失真類型的評價指標對比Table 5 Evaluation indexs comparison among different distortion types on LIVE 3D IQA phase I image library

表6 LIVE 3D IQA Phase II 圖像庫不同失真類型的評價指標對比Table 6 Evaluation indexs comparison among different distortion types on LIVE 3D IQA phase II image library

利用跨數據庫測試進一步分析本文方法的性能，LIVE 3D IQA PhaseⅠ作為訓練集，LIVE 3D IQA PhaseⅡ和NBU 3D IQA 圖像庫作為測試集。將測試結果與文獻［17］、文獻［27］和文獻［29］3種IQA指標進行對比。SROCC 的結果如 表7 所示，因NBU 3D IQA 圖像庫 包含的H.264 編碼失真類型在LIVE 3D IQA PhaseⅠ中不存在，所以在NBU 3D IQA 圖像庫上測試結果不佳。實驗結果表明，本文方法具有較好的泛化性和魯棒性。

表7 跨數據庫上不同方法的SROCC 對比Table 7 SROCC comparison among different methods on cross-database

4 結束語

本文根據人眼視覺特性和立體圖像特點，提出一種多元立體圖像特征與CNN 結合的SIQA 方法。通過提取失真圖像對的深度顯著性特征、對比度特征和亮度系數歸一化后的左右視圖作為CNN 輸入訓練模型，預測立體圖像的質量分數。實驗結果表明，本文方法能夠準確評價對稱和不對稱失真立體圖像，評價結果符合人類主觀感知，且具有較好的適用性和魯棒性。后續將考慮視覺多通道分解性和人眼誤差等因素，進一步提高SIQA 的準確性。