顏色再現圖像的客觀質量評價方法比較

宋超，馮英翹，王穎，劉炳陟，孟特，施秀清

(1. 華北理工大學 人工智能學院, 河北 唐山 063210；2. 唐山熱力總公司, 河北 唐山 063000；3. 河北機車技師學院 機床加工實訓中心, 河北 唐山 063030；4. 唐山君自科技有限公司, 河北 唐山 063000；5. 唐山工業職業技術學院 管理工程系, 河北 唐山 063000)

彩色數字圖像顯示設備，如智能移動終端、顯示器、彩色打印機等，在人們的生活和生產中已得到廣泛應用。彩色圖像在上述圖像設備的傳遞和再現過程中，不可避免地會產生不同程度的跨媒體顏色再現問題，造成同一幅圖像在源顯示設備和目標顯示設備上的顯示差異，即顏色再現失真。

對失真圖像進行客觀質量評價，是圖像處理研究領域的重要方向之一。根據對原始圖像信息的依賴程度，客觀圖像質量評價算法分為全參考、半參考和無參考3類[1]。全參考類方法利用源圖像的全部信息，通過計算源圖像與失真圖像之間的感知誤差綜合確定兩圖像的相似度。該項研究僅針對全參考類型算法。目前已有的全參考客觀圖像質量評價算法在預測常見圖像失真類型(如有損壓縮、噪聲污染、高斯模糊和碼流丟失等)的主觀感知方面表現出良好的準確性，而對跨媒體顏色再現失真類型圖像的預測性能尚未進行綜合驗證比較[2]。

該項研究介紹了常見全參考客觀圖像質量評價方法以及所使用的顏色再現圖像數據庫，然后將常見客觀圖像質量方法應用于顏色再現圖像并對其預測準確性進行計算和比較，最后對提高顏色再現圖像客觀預測準確性進行分析研究。

1全參考彩色圖像質量評價方法

在過去的幾十年中，研究人員提出了大量的全參考圖像質量評價方法。該類方法大致可分成兩大類：基于誤差統計量的方法和基于人眼視覺系統的方法，其中基于誤差統計量的方法數學含義清晰、計算簡單、便于實現而廣泛應用，但由于忽略了人眼視覺特性而在很多失真圖像上的預測準確性不高。基于人眼視覺系統的方法，考慮了多通道特性、亮度非線性、掩蓋效應等人眼視覺特性，對多種失真類型圖像都具有較高的預測準確性。

由于受到計算機計算能力及圖像獲取技術的制約，大部分全參考客觀圖像質量評價方法僅利用了灰度圖像或者彩色圖像的明度分量。雖然彩色圖像的主要信息都包含在明度分量，對顏色信息的忽略也在一定程度上影響了評價結果。隨著計算機處理能力的進步和人們對彩色圖像質量要求的提高，以及顏色再現技術的發展和應用，客觀圖像質量評價方法的研究中開始更多地考慮圖像顏色信息，并出現了不同的彩色圖像質量評價算法。

該項研究根據實際應用，將常見全參考客觀圖像質量評價方法分成以下幾類，用于分析比較其在顏色再現圖像上對主觀評價結果的預測準確性。

1.1 基于圖像強度差異

傳統的圖像質量評價方法，如峰值信噪比法(PSNR，Peak Signal-to-Noise Ratio)和均方差法(MSE，Mean Squared Error)，對圖像的亮度信息直接進行處理，通過計算對應像素點強度之間的誤差值來衡量圖像質量。該類方法因計算復雜度低而應用廣泛，但忽略了人眼視覺機制因素，在多種失真類型綜合的圖像上會與主觀感知的質量產生較大偏差。

1.2 基于圖像結構特征

Z. Wang提出的結構相似性方法(SSIM，Structure SIMilarity)在圖像質量評價領域具有深遠影響[3]。該算法認為自然圖像像素間的從屬關系形成特定的結構，而人眼能夠提取其中的結構信息并對結構的改變具有很強的自適應性。算法通過對應像素的均值、方差和協方差來表征圖像亮度、對比度和結構性失真信息，簡單高效，僅對灰度圖像進行處理。SSIM方法的多尺度擴展方法(MS-SSIM，Multi-scale SSIM)[4]將圖像分解為不同的尺度，根據各個尺度對圖像整體的重要性進行加權，獲得比SSIM方法更加精準的主觀評價預測準確性。

1.3 基于信息保真度

Sheikh等人提出了信息保真度準則(IFC，Information Fidelity Criterion)[5]和視覺信息保真度(VIF，Visual Information Fidelity)[6]2種算法，從信息論的角度出發，通過計算原始圖像與失真圖像之間的互信息來衡量圖像失真程度。

1.4 基于圖像相位一致性特征

Zhang等人根據人眼視覺特性提出FSIMc[7]方法，將圖像從RGB顏色空間轉換到YIQ顏色空間，對圖像明度分量Y提取相位一致性特征PC和梯度特征G，直接利用圖像顏色分量I和Q，參考SSIM算法架構并將相位一致性最大值作為權重函數PCm，形成了包括明度相似度SPC、SG和顏色分量相似度SI、SQ的評價公式。考慮圖像顏色信息的FSIMc方法與未考慮顏色信息的FSIM方法在圖像評價結果上具有明顯的提升，尤其對顏色失真類型圖像。

1.5 基于人類視覺系統

基于人類視覺系統(HVS，Human Visual System)的圖像質量評價方法主要突出HVS對不同視覺信號(信號的亮度、對比度、頻率內容和互作用)感知的程度。N. Damera-Venkata等人提出的噪聲質量測量方法(NQM，Noise Quality Measure)[8]，證明了非線性NQM是一種比PSNR以及線性測量方法更好的視覺質量視覺質量評價方法；Chandler等人提出視覺信噪比方法(VSNR， Visual Signal-to-Noise Ratio)[9]，基于物理量度和視覺角度，而不是像素域，具有適應不同視覺條件的能力。

1.6 基于圖像顏色差異

Lissner等人根據人眼顏色視覺，提出彩色圖像差異方法(CID，Color Image Difference)[10]，將質量評價對象從灰度圖像擴展到彩色圖像。CID算法根據人眼視覺對比度敏感性質對彩色圖像進行預處理，在LAB2000HL均勻顏色空間分別提取圖像明度、對比度和結構相似特征，對彩度和色調分量分別提取源圖像和失真圖像的彩度差和色調差相似特征，形成多尺度彩色圖像差公式，在TID2008和多個顏色再現圖像庫中取得優異結果。

Lee等人提出了方向統計彩色相似性方法(DSCSI，Directional Statistics-based Color Similarity Index)[11]，在CIELAB顏色空間使用方向統計的思想對圖像的色調分量分別提取環形平均值和環形方差特征得到色調平均相似度和色調擴散相似度，對彩度分量分別提取加權平均值和標準方差得到彩度平均相似度和對比度相似度，對圖像明度分量提取標準差和協方差特征得到明度對比度相似度和明度結構相似度，將上述獲取的6個相似度分組為彩色相似度和非彩色相似度得到最終的權重質量評價公式。DSCSI算法在TID2013等圖像庫取得了非常理想的結果。

2顏色再現圖像庫和性能評價方法

用于全參考圖像質量評價方法性能研究的圖像庫如LIVE、CSIQ、TID2008、TID2013[12]等，覆蓋目前常見的失真類型圖像，如噪聲、壓縮失真、傳輸失真等。對多幅參考圖像的多種失真類型、每種失真類型多個失真等級的失真圖像完成了大量的主觀評價實驗并處理獲得平均主觀評價分數(MOS，Mean Opinion Score)，通過對客觀質量評價算法處理后的結果與MOS計算線性相關系數，來驗證客觀圖像質量評價算法對人眼主觀評價的預測準確性。

盡管在上述圖像庫中開始更多關注彩色失真類型圖像，但目前并沒有包含顏色再現失真類型，各圖像質量評價算法在顏色再現失真圖像上的準確性無法得以驗證。因此，該項研究整理建立了已有顏色再現主觀評價實驗圖像及相應主觀評價結果。該顏色再現圖像庫共有4個圖像集組成，包括BasicStudy(BS)、ImageGamut(IG)、LocalContrast(LC)[10]和colorlab實驗室的CID：IQ圖像集，其中顏色再現失真圖像庫收集自不同的成對對比實驗，CID：IQ圖像庫[13]包含顏色再現失真在內的6種不同的圖像失真類型。顏色再現圖像庫如表1所示。

2.1 顏色再現圖像庫

BS圖像集是在對新研究的色域映射算法與傳統HPminDE、SGCK算法進行顏色再現效果主觀評價實驗形成的。共有97幅源圖像和7種色域映射算法，包括HPminDE、SGCK、NOptStar、Kolas、應用于SGCK和NOpStar的Zoliker算法、Caluori等。7種算法分別對源圖像進行顏色再現處理，混序并進行對比主觀評價實驗，產生最后的圖像集。

IG圖像集是對基于圖像色域的色域映射算法進行主觀評價實驗形成的。使用線性和S型色域映射算法、源色域分別使用sRGB設備色域和2種圖像色域來構成6種顏色再現算法，與標準的HPminDE、SGCK算法對75幅圖像進行色域映射并進行主觀評價實驗對比。

LC圖像集是對含有圖像細節增強的色域映射算法進行主觀評價而形成的。使用HPmindDE、SGCK、SGDA和線性壓縮算法，對4種算法分別進行圖像細節增強處理或者保持不變，所形成的8種算法對77幅源圖像進行色域映射處理并進行對比主觀評價實驗。

CID:IQ圖像庫相對于常見的LIVE、CSIQ、TID2018、TID2013等圖像質量評價圖像庫，增加了顏色再現失真圖像的主觀評價實驗結果。該圖像庫選擇了覆蓋面更廣的圖像，在進行主觀評價實驗時采取了2種觀測距離和規定更嚴格的觀測環境，在顏色再現失真處理中使用了CIE規定的HPminDE和SGCK 2種色域映射算法。表7為顏色再現圖像庫數據。

表1 顏色再現圖像庫

2.2 客觀質量評價方法預測準確性評價

在BS、IG和LC顏色再現圖像庫中使用擊中率Hit Rate[10]來評價客觀評價算法對主觀評價結果的預測準確性。該類圖像集使用了對比主觀評價實驗，在同一顯示器上同時顯示1幅和2幅不同色域映射算法處理后的圖像，由觀測者評價兩圖像和源圖像的相似度高低。在部分測試中，觀測者認為兩顏色再現圖像與源圖像相似度相同，該類主觀評價結果在客觀評價算法進行處理時被去除。

對單一圖像集，C表示所有主觀評價次數，S表示客觀評價算法正確預測主觀評價結果的次數，則擊中率HR用式(1)表示。

HR= |S|/|C|

(1)

與傳統圖像質量評價圖像庫類似，CID:IQ圖像庫中使用MOS值來表示主觀實驗評價結果，并使用以客觀評價結果為橫坐標、以MOS值為縱坐標的散列圖和客觀評價結果與MOS值之間的斯皮爾曼相關系數SROCC、肯德爾相關系數KROCC和皮爾遜相關系數PLCC等來表示客觀質量評價算法對主觀評價結果的預測準確性。

3客觀評價結果及分析

該項研究對常見的客觀圖像質量評價算法進行了預測準確性比較，所使用的圖像庫包括BS、IG、LC顏色再現圖像庫和CID：IQ圖像庫等。圖像質量評價算法在BS、IG、LC顏色再現圖像庫中預測準確性如表2所示，由表2可以看出，在常見失真類型圖像上預測準確性高的FSIMc和DSCSI等方法，在顏色再現失真類型上依然取得較好預測準確性；CID方法在顏色再現失真圖像上的表現最好。

表2 圖像質量評價算法在BS、IG、LC圖像庫的預測準確性對比

圖像質量評價算法在CID:IQ圖像庫中預測準確性如表3和表4所示，其中表3為該圖像庫所有失真類型圖像的處理結果，表4為圖像庫中顏色再現圖像部分的處理結果。

表3 圖像質量評價算法在CID：IQ圖像庫的預測準確性對比

表4 圖像質量評價方法在CID：IQ圖像庫中顏色再現圖像的預測準確性對比

可以看出MS-SSIM和CID2種方法在處理常見失真類型和顏色再現失真類型圖像方面均有較好預測準確性；DSCSI雖然在處理常見失真類型圖像上具有較好結果，在顏色再現失真圖像上稍差；反之，VSNR在常見失真類型圖像上的預測準確性較差，在顏色再現失真圖像部分結果較優。FSIMc在100 cm觀測距離上對常見失真類型圖像取得較好的結果，在其他條件下的結果并不理想。

在CID：IQ圖像庫中表現較好的MS-SSIM算法和CID算法形成的散列點圖如圖1所示，橫坐標為算法的客觀評價計算值，縱坐標為主觀評測MOS值，途中的曲線為擬合曲線。其中圖1(a)和圖1(b)為MS-SSIM算法在50 cm和100 cm觀測距離上結果，圖1(c)和圖1(d)為CID算法在50 cm和100 cm觀測距離上的結果。從圖中可以看出，CID算法的整體主觀結果預測準確性比MS-SSIM算法高，而CID算法在50 cm觀測距離上的處理結果更優，擬合離散性低，擬合曲線線性度高。

圖1 MS-SSIM算法和CID算法在CID：IQ圖像庫的散列點圖

4結論

(1)基于圖像強度差異、圖像強度特征、人類視覺系統特性和圖像顏色差異，分析了幾類傳統客觀圖像質量評價算法的特性，使用平均主觀評價分數MOS和擊中率hit rate 2種方式，在BS、IG、LC和CID：IQ等顏色再現圖像上對典型的客觀質量評價方法對進行了主觀評價結果預測準確性計算和比較。

(2)常見失真類型圖像上預測準確性高的FSIMc和DSCSI等方法，在顏色再現失真類型上依然取得較好預測準確性，但傳統客觀圖像質量評價方法在顏色再現失真類型圖像上預測準確性仍有較大提高空間。