高動態范圍圖像客觀質量評價方法

管非凡，郁 梅，宋 洋，邵 華，蔣剛毅

(寧波大學 信息科學與工程學院，浙江 寧波 315211) (*通信作者電子郵箱jianggangyi@126.com)

高動態范圍圖像客觀質量評價方法

管非凡，郁 梅，宋 洋，邵 華，蔣剛毅*

(寧波大學 信息科學與工程學院，浙江 寧波 315211) (*通信作者電子郵箱jianggangyi@126.com)

針對當前高動態范圍(HDR)圖像質量評價方法未考慮圖像色度和結構信息的問題，提出了一種新的HDR圖像客觀質量評價方法。首先，利用HDR-VDP-2.2中的基于視覺感知的模型得到關于亮度與對比度的視覺保真度特征；然后，將HDR圖像轉換到YIQ彩色空間，對彩色空間中的Y、I、Q通道分別進行處理，求得色度相似度和結構相關度特征；最后，利用支持向量回歸(SVR)的方法對特征進行融合，預測得到高動態范圍圖像質量的客觀評價值。實驗結果表明，與HDR-VDP-2.2相比，該方法的Pearson相關系數和Spearman等級相關系數分別提升了23.09%和25.34%；均方根誤差(RMSE)降低了38.01%。所提出的方法與主觀視覺感知具有更高的一致性。

高動態范圍圖像；質量評價；特征；支持向量回歸；視覺感知

0 引言

近年來，隨著成像技術和數字處理技術的快速發展，高動態范圍圖像以其更大的亮度范圍、豐富的細節信息以及給人更好的視覺感受，吸引了越來越多的研究者的廣泛關注[1]。

與低動態范圍(Low Dynamic Range, LDR)圖像類似，高動態范圍(High Dynamic Range, HDR)圖像在獲取、處理、壓縮、存儲、和傳輸時也會存在不同程度的失真[2]，這些失真會影響HDR圖像的視覺效果。由于HDR圖像有著更大的動態范圍，如何對HDR圖像進行有效的評估是當前研究的難點。主觀質量評價方法需針對多個測試圖像進行多次重復實驗，耗時多、費用高，難以操作[3]，所以需要一種客觀質量評價方法。依據對參考圖像的依賴程度，圖像客觀質量評價可分為全參考、半參考和無參考等3類。典型的全參考LDR圖像質量評價方法有基于像素誤差統計的均方誤差(Mean Squared Error, MSE)方法[4]，它計算簡單，但不能很好地與人的主觀感知保持一致；Wang等提出了基于結構相似度(Structural Similarity Index Metric, SSIM)的方法[5]和改進的多尺度結構相似性(Multi-scale Structure Similarity Index Metric, MSSIM)方法[6]，其通過比較參考圖像與失真圖像的結構、亮度及對比度信息來綜合評價圖像質量，取得了不錯的效果；Sheikh等提出了基于信息保真度的方法(Visual Information Fidelity, VIF)[7]，它通過衡量失真圖像和參考圖像之間的共同信息的多少來評價失真圖像的質量，由于其對人類視覺系統的合理建模，取得了較好的效果；Chandler等提出了基于小波變換的評價模型(Visual Signal-to-Noise Ratio, VSNR)[8]，主要通過生理和心理學實驗獲得人類視覺系統的前端特征構建視覺模型，從而模擬人的視覺來對評價圖像客觀質量，但是該方法并沒有得到令人滿意的效果。

目前常用的HDR圖像質量評價方法是Mantiuk等提出的視覺差異預測方法HDR-VDP-2(HDR Visual Difference Predictor, HDR-VDP-2)[9]及其權重修正的HDR-VDP-2.2[10]算法。其通過合理地模擬人類視覺系統，建立一系列人眼視覺模型，綜合HDR圖像的亮度和對比度特征，提出了一種HDR圖像的客觀全參考質量評價方法。由于其適應自然界圖像的所有亮度范圍，很好地模擬了人類對HDR圖像的高亮度范圍的感知，所以該評價方法得到了廣泛的應用，但是，由于其只考慮了HDR圖像的高亮度范圍特征，對于HDR圖像尤為重要的色度特征和對人類視覺感知影響重大的結構特征卻沒有進行良好度量，該評價方法存在一定的局限性。

本文在HDR-VDP-2.2的基礎上結合HDR圖像的色度相似度和結構相關度，提出了一種基于SVR的HDR圖像客觀質量評價模型。解決了經典LDR圖像質量評價方法只能良好地對低亮度范圍圖像的處理的問題，又補充了當前HDR圖像質量評價方法中缺少的色度和結構的度量。與當前HDR圖像質量評價方法及經典的LDR圖像質量評價方法進行了對比。實驗表明，本文提出的方法與人類主觀視覺感知具有更高的一致性。

1 評價模型

HDR圖像包含了更高的亮度范圍、更豐富的細節信息，能夠給人帶來更好的視覺體驗。對高動態范圍圖像質量的度量除了考慮亮度的范圍之外，同時也應考慮普通圖像所包含的對比度信息、感知結構以及對HDR圖像尤為重要的色度信息。本文綜合以上信息，建立更全面的感知質量評價模型，實現對HDR圖像質量評價。具體的算法框圖如圖1所示。

圖1 本文模型算法框圖

本文模型共包括三大部分。第一部分為HDR-VDP-2.2中通過模擬人眼來度量HDR圖像的高亮度和對比度特征，從而得到兩幅圖像的差異的過程。其中，包括光學與視網膜路徑、多尺度分解及池聚合等模塊；第二部分考慮到HDR圖像特有的鮮明的色度信息不可忽視，對色度特征度量。首先將HDR圖像的RGB顏色空間轉換為亮度與顏色容易分離的YIQ顏色空間，分別對I、Q顏色分量求色度相似度作為圖像色度特征度量；第三部分對結構特征度量，通過對HDR圖像的亮度分量Y求取結構相關度作為結構特征的度量。最后聯合以上三部分內容，通過加權聚合和支持向量回歸兩種方案綜合評價HDR圖像的客觀質量。

1.1 特征度量

1.1.1HDR-VDP-2.2

視覺差異預測器(VisibleDifferencePredictor,VDP)是一種有效評估圖像保真度的算法。其利用算法來模擬人眼觀看圖像的過程，從而預測人眼所看到的兩幅圖像的差異。由Daly等[11]提出的針對普通低動態范圍LDR圖像的視覺差異預測器(VDP)在LDR圖像的客觀質量評價中得到了廣泛的應用。HDR圖像有著更大的動態范圍，需要一個新的視覺模型去模擬人眼處理更大亮度范圍的過程。HDR-VDP-2是目前較常用的預測HDR圖像質量的客觀評價方法。

HDR-VDP-2實現了模擬人眼對高動態范圍圖像的處理過程。其第一部分模擬人眼的光學和視網膜通路，模擬光在人眼內部的散射過程。第一步，通過調制傳遞函數模擬光通過眼角膜、晶狀體到達視網膜的整個散射過程；第二步，在光散射到視網膜后，模擬感光器感光光譜的靈敏性；第三步，感光器根據進入人眼光的亮度來控制人的感知過程，模擬感光器對光亮度的非線性反應。第二部分通過多尺度分解來模擬視覺皮質中人眼對光照的不同空間頻率和方向的選擇過程，BT[f,o]和BR[f,o]分別表示左眼和右眼在f頻率o方向人眼可感知到的光照。采用可操縱金字塔方法較好地實現空間頻率和方向的分離；由于得到的兩幅圖像的差異可以認為是由不同的輸入噪聲引起的，而這些噪聲是由獨立噪聲和非獨立噪聲兩部分組成。所以，第三部分來模擬這兩種噪聲的形成，用對比度敏感函數(ContrastSensitivityFunction,CSF)來模擬獨立噪聲，對比度掩蔽(Masking)函數來模擬依賴于信號的非獨立噪聲。算法輸出的D[f,o]即為人眼在某一頻率和方向上可感知到的兩幅圖像的差異。最后把D[f,o]轉換為評價HDR圖像的客觀質量分數，具體過程見參考文獻[9-10]。

HDR-VDP-2.2在HDR-VDP-2的基礎上對其中的不同頻率、不同方向上的權重系數wf進行了修正，添加了約束條件，使得wf的設置更加合理，評價效果較之前的HDR-VDP-2有一定提升。用SVDP表示HDR-VDP-2.2的特征度量結果，聚合方程如式(1)所示:

(1)

其中：i是像素指數；ε是小常數(10-5)，以避免當D為0時產生奇點；I為像素的總數；wf為每個頻帶的權重。

1.1.2 色度相似度

HDR-VDP-2.2 只考慮了圖像的亮度特征，其適用于自然界所有亮度范圍?，F實世界中的場景都是繽紛多彩的，并不是通常處理的灰度圖像。所以，基于彩色圖像的質量評價要比基于灰度圖像的圖像質量評價更加可靠，評價結果也要好于灰度圖像。色度信息對人眼視覺系統的影響不可忽視，尤其對于色彩更加鮮明的HDR圖像。本文在評價模型中引入色度特征度量，實現了對彩色圖像的質量評價。

首先，將HDR圖像的RGB顏色空間轉換為更符合人類視覺系統感知且亮度和色度容易分離的顏色空間，因此，本文選擇了廣泛使用的YIQ顏色空間，其中，Y表示亮度信息，I和Q表示色度信息。將RGB顏色空間轉換為YIQ顏色空間轉換公式如式(2)所示:

(2)

用Ix(Iy)和Qx(Qy)表示參考(測試)圖像的I和Q色度通道的對應像素點位置的顏色分量值。分別對I和Q通道求顏色相似度。色度特征的相似度分別用SI，SQ表示，分別由式(3)、(4)確定：

(3)

(4)

其中，C1和C2是正的小常數。因為I和Q分量動態范圍幾乎相同。所以本文令C1=C2。聯合SI與SQ得到綜合色度相似度度量方法，表示為SC：

SC=SI·SQ

(5)

1.1.3 結構相關度

結構信息反映了場景中的主要結構特征，且結構特征是影響視覺感知的主要因素。一個良好的圖像質量評價方法應符合人類視覺系統(HumanVisualSystem,HVS)的主觀感知。本文在建立的評價模型中實現了對結構特征度量。Wang等提出的通用質量評價模型(UsualQualityIndex，UQI)[12]得到了廣泛的應用，其中的相關度比較包含了結構的度量。本文對UQI模型進行整合，使其在HDR圖像中同樣適用。對1.1.2節中得到的YIQ顏色空間中的Y分量計算結構相關度SS，由式(6)確定：

(6)

1.2 質量預測

方案一 HDR-VDP-2中的亮度度量與對比度度量SVDP和色度相似度度量SC以及結構相關度度量SS分別作為圖像質量聚合模型中的3個部分。圖像客觀質量分數應與主觀結果保持一致，因此，以SROCC值最大為約束條件，尋找最佳的聚合策略。為了得到最佳的聚合策略，本文測試了多種組合方法，最終得到如下聚合方式：

S=αSVDP+(1-α)(SS·SC)

(7)

其中：α(0≤α≤1)為權重調節系數，調節SVDP與SS，SC分量之間的相對重要性。因為SVDP、SS、SC的值均在[0,1]，所以整體質量值S也在[0,1]。S越接近于1，表明測試圖像與原始圖像之間的差異越小，質量越好；而S越接近于0，表明測試圖像與原始圖像間的差異越大，質量越差。

方案二 由于人類視覺系統非常復雜，使用簡單的加權聚合可能不能合理地體現特征之間的關系。而支持向量回歸(Support Vector Regression, SVR)算法可以通過核函數來有效地解決非線性的問題。本文方案二以SVDP、SS、SC三個客觀值作為特征，聯合主觀意見分值(MeanOpinionScore,MOS)，以客觀評價值與主觀評價值之間的Spearman等級相關系數(SpearmanRankOrderCorrelationCoefficient,SROCC)最大為約束條件，通過SVR方法，建立感知質量評價模型，綜合評價方法的性能。

2 實驗結果與分析

本文采用法國Nantes大學提供的HDR圖像數據庫[13]。該數據庫包含10幅原始超高清(分辨率為1 920×1 080)HDR圖像，每幅圖像分別對應14種不同程度的失真，得到共140幅失真圖像。該庫同時提供每幅圖像的主觀意見分值MOS。實驗依據VQEG(VideoQualityExpertsGroup)的相關流程進行[14]，將模型的輸出值Q′作四參數Logistic函數非線性擬合，獲得預測MOSp：

(8)

其中a、b、c、d為常量。利用非線性回歸后的客觀模型預測值與主觀意見分值的相關性來度量客觀評價方法的性能。實驗結果由3個常用的性能評價指標給出，分別是：1)Pearson線性相關系數(PearsonCorrelationCoefficient,PCC)，反映預測的精確性。是區間[-1,1]上的值，其絕對值越接近于1，表明主客觀評價間的相關性越好。2)Spearman等級相關系數(SpearmanRankOrderCorrelationCoefficient,SROCC)，表征了評價方法的單調性。也是區間[-1,1]的值，同PCC一樣，其絕對值越接近于1，表明主客觀評價間的一致性越好。3)均方根誤差(RootMeanSquareError,RMSE)，表征了數據的離散程度。均方根誤差越小，說明對模型的預測越準確；誤差越大，則對模型的預測越不準確。

方案一 對于聚合關系式中權值的確定，本文通過多次實驗，以客觀質量評價值與主觀意見分值(MOS)之間的SROCC值來確定最佳的α值。最終得出，當α=0.65時，評價性能最好。

方案二SVR過程共包括訓練和測試兩個階段。依據常用的訓練過程，隨機地將數據庫中140幅HDR圖像中的80%共112幅HDR圖像用來訓練，得到模型。剩余20%的28幅HDR圖像用來對模型進行性能測試。為了保證訓練結果的穩定性和可靠性，并盡可能多地消除偏差，隨機地重復該過程(80%訓練，20%測試)1 000次，并取1 000次迭代的中值作為最終性能評價結果。

目前，關于HDR圖像質量評價的方法研究不多，較為常用的HDR圖像質量評價方法是HDR-VDP-2及其權重修正的HDR-VDP-2.2。為了驗證模型的有效性，將本文方法與HDR-VDP-2.2及MSE、SSIM、MSSIM、VSNR和VIF等這類經典LDR圖像客觀質量評價方法進行對比。表1給出了各評價方法的各項性能指標。

由表1可以看出，方案一和方案二的各項指標性能均優于HDR-VDP-2.2方法，且性能提升明顯，說明色度和結構特征對HDR圖像質量的影響比較重要，不可忽視，這與HDR圖像鮮明的色彩信息和豐富的細節信息對應，較好地體現了本文模型所選圖像特征的合理性和可靠性；方案二的各項性能優于方案一，說明支持向量回歸的機器學習方法優于簡單的加權聚合方法；同時可以看出，經典的低動態范圍圖像質量評價方法對HDR圖像的客觀評價性能普遍較差，將低動態范圍圖像的客觀評價方法直接應用在高動態范圍圖像上是不合理的。LDR圖像只能處理低亮度范圍的自然圖像及其失真圖像，無法較好地對HDR圖像中高亮度范圍的區域進行處理，這也是傳統質量評價無法較好地評價HDR圖像的根本問題所在。綜上可見，本文提出的新的評價模型優于HDR-VDP-2.2及經典LDR圖像質量評價方法，且與主觀視覺感知具有更好的一致性。

表1 各評價方法的各項性能比較

圖2給出了2種HDR圖像質量評價方法的客觀評價結果與主觀意見分值(MOS)的散點圖。其中，橫坐標表示方法的客觀質量分數，縱坐標表示圖像的MOS值，曲線代表四參數擬合曲線。散點越集中，越接近擬合曲線，說明客觀模型與主觀感知的一致性越好。由圖可以看出本文提出的圖像客觀質量評價模型散點圖比較集中，與主觀評價數據之間的吻合度較高，能較好地評價HDR圖像的質量。

圖2 兩種HDR圖像質量評價方法的客觀質量值與MOS值的散點圖

3 結語

本文主要結合了HDR圖像的色度信息、結構信息及HDR-VDP-2.2中的亮度信息、對比度信息和一些人眼視覺模型，利用加權聚合及SVR兩種方案來綜合評價HDR圖像客觀質量。實驗結果表明，所提出的方法性能比當前廣泛使用的HDR-VDP-2.2及一些經典的LDR圖像質量評價方法更為有效，且預測性能均衡、穩定。在本文的基礎上，考慮用無參考方法進行HDR圖像質量評價，改善評價效果，是未來工作的研究方向。

)

[1]NARWARIAM,DASILVAMP,LECALLETP.Studyofhighdynamicrangevideoqualityassessment[C]//ProceedingsofSPIE9599:ApplicationsofDigitalImageProcessingXXXVIII.Bellingham,WA:SPIE, 2015: 95990V.

[2]HANHARTP,BERNARDOMV,PEREIRAM,etal.BenchmarkingofobjectivequalitymetricsforHDRimagequalityassessment[J].EurasipJournalonImageandVideoProcessing, 2015, 39(1):1-18.

[3] 蔣剛毅,黃大江,王旭,等.圖像質量評價方法研究進展[J].電子與信息學報,2010,32(1):219-226.(JIANGGY,HUANGDJ,WANGX,etal.Overviewonimagequalityassessmentmethods[J].JournalofElectronicsandInformationTechnology, 2010, 32(1): 219-226.)

[4]ESKICIOGLUAM,FISHERPS.Imagequalitymeasuresandtheirperformance[J].IEEETransactionsonCommunications, 1995, 43(12): 2959-2965.

[5]WANGZ,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing, 2004, 13(4): 600-612.

[6]WANGZ,SIMONCELLIEP,BOVIKAC.Multiscalestructuralsimilarityforimagequalityassessment[C]//Proceedingsofthe2004ConferenceRecordofthe37thAsilomarConferenceonSignals,SystemsandComputers.Piscataway,NJ:IEEE, 2004: 1398-1402.

[7]SHEIKHHR,BOVIKAC.Imageinformationandvisualquality[J].IEEETransactionsonImageProcessing, 2006, 15(2): 430-444.

[8]CHANDLERDM,HEMAMISS.VSNR:awavelet-basedvisualsignal-to-noiseratiofornaturalimages[J].IEEETransactionsonImageProcessing, 2007, 16(9): 2284-2298.

[9]MANTIUKR,KIMKJ,REMPELAG,etal.HDR-VDP-2:acalibratedvisualmetricforvisibilityandqualitypredictionsinallluminanceconditions[J].ACMTransactionsonGraphics, 2011, 30(4): 76-79.

[10]NARWARIAM,MANTIUKR,CALLETPL,etal.HDR-VDP-2.2:acalibratedmethodforobjectivequalitypredictionofhighdynamicrangeandstandardimages[J].JournalofElectronicImaging, 2015, 24(1): 010501.

[11]DALYS.Thevisibledifferencespredictor:analgorithmfortheassessmentofimagefidelity[M]//DigitalImagesandHumanVision.Cambridge,MA:MITPress, 1993: 179-206.

[12]WANGZ,BOVIKAC.Auniversalimagequalityindex[J].IEEESignalProcessingLetters, 2002, 9(3): 81-84.

[13]NARWARIAM,LECALLETP.Tonemapping-basedhigh-dynamic-rangeimagecompression:studyofoptimizationcriterionandperceptualquality[J].OpticalEngineering, 2013, 52(10): 190-197.

[14] Video Quality Experts Group. Final report from the video quality experts group on the validation of objective models of video quality assessment [EB/OL]. [2016- 01- 04]. http://www.vqeg.org/.

This work is partially supported by the National Natural Science Foundation of China (61271270), the Natural Science Foundation of Zhejiang Province (LY15F010005).

GUAN Feifan, born in 1990, M. S. candidate. His research interests include image and video quality assessment.

YU Mei, born in 1968, Ph. D., professor. Her research interests include multimedia signal processing, video compression and communication.

SONG Yang, born in 1989, Ph. D. candidate. His research interests include image and video quality assessment.

SHAO Hua, born in 1979, Ph. D. candidate. His research interests include image processing, video coding.

JIANG Gangyi, born in 1964, Ph. D., professor. His research interests include digital video compression and communication, image processing and video coding.

Objective quality assessment method of high dynamic range image

GUAN Feifan, YU Mei, SONG Yang, SHAO Hua, JIANG Gangyi*

(FacultyofInformationScienceandEngineering,NingboUniversity,NingboZhejiang315211,China)

Aiming at the problem that High Dynamic Range (HDR) image quality evaluation method does not consider the color and structure information of HDR image, a novel objective quality assessment method of HDR image was proposed. Firstly, the feature of visual fidelity about brightness and contrast was obtained based on the visual model of HDR-VDP-2.2. Then, the HDR image was transformed into the YIQ color space, and the color similarity and structural correlation coefficient were gotten by dealing with the Y, I, Q channel, respectively. Finally, Support Vector Regression (SVR) was used to fuse the features, and the objective evaluation value of the high dynamic range image quality could be obtained by predicting the similarity degree and the structural relevance degree. The experimental results show that compared with HDR-VDP-2.2, the Pearson correlation coefficient and Spearman rank correlation coefficient of the proposed method are increased by 23.09% and 25.34%, respectively; the Root Mean Square Error (RMSE) is reduced by 38.01%. The proposed method has higher consistency with subjective visual perception.

High Dynamic Range (HDR) image; quality assessment; feature; Support Vector Regression (SVR); visual perception

2016- 07- 25;

2016- 09- 30。

國家自然科學基金資助項目(61271270)；浙江省自然科學基金資助項目(LY15F010005)。

管非凡(1990—)，男，安徽蚌埠人，碩士研究生，主要研究方向：圖像與視頻質量評價； 郁梅(1968—)，女，江蘇無錫人，教授，博士，主要研究方向：多媒體信號處理、視頻壓縮與通信； 宋洋(1989—),男，浙江寧波人，博士研究生，主要研究方向：圖像與視頻質量評價； 邵華(1979—)，男，浙江杭州人，博士研究生，主要研究方向：圖像處理、視頻編碼； 蔣剛毅(1964—)，男，浙江紹興人，教授，博士，CCF會員，主要研究方向：數字視頻壓縮與通信、圖像處理、視頻編碼。

1001- 9081(2017)03- 0695- 04

10.11772/j.issn.1001- 9081.2017.03.695

TN

A