張 欣,喬繼紅,張慧妍,張 雁,張 鑫,許繼平
(1.聯(lián)想集團 神奇工場通訊技術(shù)有限公司,北京 100089;2.北京工商大學 計算機與人工智能學院,北京 100048;3.北京工商大學 中國輕工業(yè)工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)重點實驗室,北京 100048)
隨著手機行業(yè)突飛猛進的興起,其已成為人們生活、工作中很重要的一部分。由于手機的便攜性以及相機硬件模組的完備性,越來越多的用戶使用手機拍照和記錄。孟利等[1]將手機相機用于公安勘查現(xiàn)場采集照片;夏莎莎等[2]基于手機相機獲取冬小麥拔節(jié)期冠層圖像進行精準施肥研究,并基于此研究成果進行手機APP 開發(fā);管昉立等[3]基于智能手機與機器視覺技術(shù)相結(jié)合,探索立木胸徑測試方法,其相對誤差小于2.50%,精度較高。手機相機拍攝得到的圖像效果已成為評價手機質(zhì)量的一項重要指標,如色彩、曝光、清晰度、噪聲等,這些也是用戶購買手機的部分參考依據(jù)。手機圖像的呈現(xiàn)是攝像頭軟硬件綜合調(diào)校的結(jié)果,用戶看到的也是這個最終結(jié)果,如何評判畫質(zhì)的優(yōu)劣成為手機成像的一個重要研究課題。
客觀評測和主觀評測是目前數(shù)字圖像領(lǐng)域比較經(jīng)典的兩種評測方法。客觀評測主要依賴于拍攝專業(yè)圖卡并使用專業(yè)儀器分析給出的評價,例 如DXOMARK、Image Engineering 和Imatest公司都有獨立的實驗系統(tǒng)和評價體系,但其只能模擬少部分真實場景,所以還需要大量實景拍攝的主觀評測。主觀評測是拍攝用戶真實使用場景并借助人眼給出喜好評價,但這個評測不僅花費時間較長,評測者還需要經(jīng)過專業(yè)培訓,且人為判斷時添加主觀色彩因素,會導致評價結(jié)果差異性較大。目前,專門針對圖像白平衡質(zhì)量評價的算法相對較少,眾多科學研究集中在顏色評價。
文獻[4-5]主要從圖像的色調(diào)、彩度和明度通道出發(fā),構(gòu)建圖像全參考質(zhì)量評估方法。文獻[6-8]從RGB(Red,Green,Blue)3個分量統(tǒng)計分布出發(fā),構(gòu)建圖像質(zhì)量評價體系。文獻[9]等從色調(diào)、飽和度、對角、球面角4 個維度出發(fā)構(gòu)建自然場景統(tǒng)計模型。Li等[10]提出基于稀疏表示的彩色圖像質(zhì)量評價方法。文獻[11]提出基于全局與局部統(tǒng)計特征的色域映射圖像無參考質(zhì)量評價方法。Jens Preiss 等[12]使用彩色圖像差異作為目標函數(shù)改善色域映射的算法,解決視覺偽像問題也同步改進了彩色圖像差異,提高彩色圖像的預測精度。Dogancan Temel 等[13]提出基于多尺度和多通道誤差表示的頻譜理解的圖像質(zhì)量評價算法,該類方法解決了大多數(shù)研究中使用灰度圖像而忽略顏色信息的關(guān)鍵信息,使圖像預測精度得到有效提高。文獻[14]提出基于自然場景統(tǒng)計的色域映射圖像無參考質(zhì)量評價算法。文獻[15]重點研究Lab(Luminance,a,b)色彩空間中a 通道和b通道的信息熵特征,通過建立支持向量機(Support Vector Machine,SVM)進行回歸訓練。PerSIM(Perceptual SIMilarity)[16]和FSIMc(Feature SIMilarity extend to Color)[17]通過在顏色通道中計算逐像素的保真度用來提升對彩色圖像評價的性能。Gupta 等[18]基于YIQ(Luminance,In-phase,Quadrature-phase)色彩空間提出無參考圖像質(zhì)量評價方法。
上述算法對RGB 色域空間、Lab 色域空間和YIQ 色域空間等進行了深入的研究,在圖像顏色評價方面取得了一定的進展,但是缺乏對圖像白平衡表現(xiàn)的研究,無法很好地模擬人眼視覺感知特性,其評價性能和實用性還需要進一步的提升。自動評測相機圖像質(zhì)量也已經(jīng)成為眾多手機廠商研究的課題,結(jié)合專業(yè)測試圖卡與主觀評測對手機拍照圖像質(zhì)量做出評價是研究的大趨勢。大量的科研學者提供了研究思路。蔡俊等[19]采用尺度不變特征變換(SIFT)經(jīng)典算法并搭配PyQt 工具設(shè)計出識別率高達95%以上的道路標識牌識別系統(tǒng)。韓彬等[20]采用改進傳統(tǒng)Canny 與透射變換相結(jié)合,有效解決了印刷品圖像中的畸變現(xiàn)象,為自動化提取實景圖像中Colorchecker 標準二十四色卡的位置提供了有效思路。高佳南等[21]采用最小二乘法優(yōu)化組合賦權(quán)模型評價礦井環(huán)境舒適度,與實際考察結(jié)果基本相符。茍廷佳等[22]將TOPSIS 法應用于生態(tài)文明建設(shè)評價中。受上述算法的啟發(fā),本文提出一種相機成像質(zhì)量色彩和白平衡自動評測方法。
CIQA 算法的核心在于基于SIFT 與透射變換相結(jié)合提取手機相機成像圖像中的Colorchecker標準二十四色卡區(qū)域,替代手動使用Imatest3.7 Image Sensor 專業(yè)軟件(美國IMATEST LLC)提取二十四色卡區(qū)域的步驟,大幅縮短了分析時間。本文從圖像白平衡表現(xiàn)和色彩還原表現(xiàn)兩方面考慮,結(jié)合RGB、Lab和HSV(Hue,Saturation,Value)顏色空間給出8 個模擬人眼視覺感知特性的指標用于評價圖像,并構(gòu)建離差率最小二乘法獲取各指標分配權(quán)重值,最后基于改進主客觀賦權(quán)的TOPSIS 算法對手機相機畫質(zhì)色彩表現(xiàn)效果進行排序。
本文采用X-rite 公司ColorChecker 標準二十四色卡[23]作為測試樣本,如圖1 所示。標準色卡是經(jīng)科學配置的24個自然色,彩色和灰度色塊。按照從左到右、從上到下的順序,分別標記為1~24。這些色塊可在各種光源下與其代表的自然物體的色彩相匹配,每個色塊的光線反射與其相應的真實物體一樣,因此可以用于色彩還原和白平衡測試。

圖1 ColorChecker 標準二十四色卡Fig.1 ColorChecker standard twenty-four color cards
其24 個顏色對應的基于sRGB 色域的標準RGB 值和基于CIE L*a*b*的L*a*b*值見表1。通過建立相機拍攝色卡的色度值與標準色卡的色度值之間的關(guān)系,得出現(xiàn)有相機的色彩與白平衡還原效果表現(xiàn)。

表1 ColorChecker 標準二十四色卡的RGB 值和L*a*b*值Tab.1 RGB value and L*a*b* value of the ColorChecker standard twenty-four color cards
SIFT 即尺度不變特征變換[24],計算核心為在尺度空間中尋找眾多特征點,廣泛應用于圖像處理領(lǐng)域,可以在一定程度上有效降低標準色卡因拍攝角度、距離以及光照因素對識別結(jié)果的干擾。
關(guān)鍵的特征點群通過構(gòu)造DoG(Difference of Gaussian)尺度空間獲取,采用高斯函數(shù)G(x,y,σ)與原圖像做卷積運算實現(xiàn)尺度變換;采用FLANN(Fast library for approximate nearest neighbors)計算歐式距離來找尋與實例點的最鄰近的特征點;采用RANSAC(Random sample consensus)在多重數(shù)據(jù)中去除干擾數(shù)據(jù),利用置信值高的數(shù)據(jù)點求取數(shù)據(jù)模型。
在實際拍攝Colorchecker 標準二十四色卡時,往往因為圖像分辨率、拍攝距離遠近、色卡擺放位置等原因,識別分割后的色卡圖像會產(chǎn)生不同程度的形變,此時引入透射變換算法[25]來精準提取標準二十四色卡中24 個色塊的位置。
2.3.1 色彩還原指標
色彩還原指標參考基于CIE L*a*b*色域第1~18 個色塊色度值計算,主要分為色彩飽和度(Mean_chroma)、a*b*兩通道差值(Delta_ab_mean)、L*a*b*三通道差值(Delta_E_mean)和色彩偏向角度(Delta_h)。
Mean_chroma 的計算模型[26]如式(1)所示,該值表示色彩飽和度,其值在一定范圍內(nèi)會有更好的視覺體驗:
其中:ai_means和bi_means是相機拍攝色卡被計算色塊色彩分量的平均值,ai_ideal和bi_ideal是標準色卡被計算色塊色彩分量的理論值。
Delta_ab_mean 的計算模型[26]如式(2)所示,該值從色彩分量出發(fā),不考慮亮度分量,值越大,說明色塊之間的差異越大,該值在CIE2000 中重新定義了色差計算方法,使其在CIE L*a*b*色域中,色差計算值與人眼評估更加接近:
其中:SCi和SHi是彩度和色相差權(quán)重參數(shù),RT是橢圓旋轉(zhuǎn)調(diào)整因子,G是動態(tài)調(diào)整因子,KC=KH=1,其他參數(shù)意義同式(1)。
Delta_E_mean 的計算模型[26]如式(9)所示,該值可以數(shù)字化表示不同顏色之間的差別,值越大,說明顏色之間的差異越大:
其中:Li_means是相機拍攝色卡被計算色塊亮度分量的平均值,Li_ideal是標準色卡被計算色塊亮度分量的理論值,SLi是亮度權(quán)重參數(shù),KL=1,其他參數(shù)意義同式(2)。
色彩偏向角度指標參考基于CIE HSV 色域中的色相角Hue,第1~18 個色塊色調(diào)計算模型如式(12)所示:
其中:Ri_means、Gi_means、Bi_means是相機拍攝色卡被計算色塊基于RGB 色域的值,Hi_deal是對應標準色卡被計算色塊色彩偏向角的理論值。
2.3.2 白平衡指標
白平衡還原指標參考基于CIE HSV 色域中的飽和度Saturation。色卡第20~23 個色塊的飽和度分別記為S20、S21、S22、S23,該值會修正人眼觀察圖像時光照顏色對物體造成的色差[27]。
Si的計算模型[28]如式(13)~(16)所示:
其他參數(shù)意義同式(12)。
ColorChecker 標準二十四色卡中24 個色塊的角點坐標D、E、F、G是固定的。將目標色卡的24 個色塊的4 個頂點坐標預先設(shè)定好,將基于SIFT 分割后的色卡做透視變換成矩形找到24 個色塊的頂點坐標,再反透射變換到原始拍攝圖像,找到實際拍攝色卡的色塊頂點坐標,用于計算各指標值。
以本文實驗數(shù)據(jù)繪制流程圖如圖2 所示。其中將相機拍攝帶有ColorChecker 標準二十四色卡的圖像(色卡占整張圖像的百分比根據(jù)拍攝環(huán)境確定)作為實景圖像,在正常光照下拍攝Color-Checker 標準二十四色卡的圖像(色卡占整張圖像接近100%)作為目標圖像。

圖2 算法總體結(jié)構(gòu)圖Fig.2 Overall structure of the algorithm
在圖像綜合評價中,顏色還原、顏色飽和度和白平衡等值的重要程度不一樣。相機領(lǐng)域內(nèi)的畫質(zhì)專家給予的主觀權(quán)重分配比例也主要是依靠自身的經(jīng)驗值,不同的畫質(zhì)專家對某些圖像問題的描述有可能出現(xiàn)分歧。但專家的決策具有重要的參考價值,所以我們配合測試數(shù)據(jù)提供客觀信息,計算所得出的多指標權(quán)重會更加具有客觀性和合理性。
通過與相機領(lǐng)域內(nèi)資深產(chǎn)品、畫質(zhì)調(diào)試和畫質(zhì)測試工程師共同評估Mean_chroma、Delta_ab_mean、Delta_E_mean、S20、S21、S22、S23、Delta_h 8 個指標的相對重要程度給出評分,評價標準采用0~9 分制,0 分說明該評價指標在畫質(zhì)整體評價中占比最低,9 分則說明該評價指標占比最高。隨著分數(shù)的遞增,該指標的重要程度也隨之增加,計算每一個指標的平均得分來確定該指標的權(quán)重w1j,從而獲得指標綜合值為:
其中:m為指標總數(shù),i為測試圖像編號,j為測試圖像指標編號,xij為第i號測試圖像第j個指標。
熵權(quán)法從數(shù)據(jù)本身存在的客觀性出發(fā),通過指標數(shù)據(jù)計算得出的信息熵E(j)與該指標的數(shù)據(jù)集提供的信息量成反比,對評價所起的貢獻作用越強,其權(quán)重理應也越大。
首先處理指標數(shù)據(jù),得到標準矩陣,并計算其信息熵:
進而得出第j個指標權(quán)重的公式為:
其余參數(shù)意義同式(17)。
本文在經(jīng)典最小二乘法的基礎(chǔ)上進行改進,多指標組合權(quán)重通過搭建離差率最小二乘法模型獲得。在推導過程中給出矩陣解可直接對數(shù)據(jù)進行處理得出有效結(jié)果。各指標權(quán)重構(gòu)成權(quán)重矢量為Wm1=(w1,…,wm)T,定義離差率的模型如式(21):
以上模型在構(gòu)建時要求index1i不為0,經(jīng)驗證本文數(shù)據(jù)皆不為0,故可以構(gòu)建。離差率最小二乘法的核心在于合理結(jié)合畫質(zhì)專家給出的建議和測試數(shù)據(jù)提供的數(shù)據(jù)信息,使最終確定的多指標組合權(quán)重值有效結(jié)合主客觀信息。
按照式(22)構(gòu)建離差率最小二乘法模型:
按照式(23)構(gòu)造Lagrange 函數(shù):
按照式(24)分別對m+1 個變量進行求解偏導:
求解過程較為繁雜,此處以矩陣的形式表示:
按照式(26)得出指標分配權(quán)重:
假設(shè)將本文中涉及到的手機型號作為方案表示,選取相機畫質(zhì)色彩效果好的手機型號尋找最優(yōu)方案解。智能手機成像質(zhì)量顏色效果綜合評價步驟如下:
Step1:不同指標往往具有不同的數(shù)量級與量綱,為了消除指標間的差異性,規(guī)范化處理測試數(shù)據(jù)如式(27),
式中:i=1,…,g;j=1,…,h。C1,C2,…,Cg對應的是方案;F1,F(xiàn)2,…,F(xiàn)h對應的是指標。
Step2:構(gòu)建方案-指標集矩陣如下:
Step3:Huang 等人提出TOPSIS 法[29],通常取矩陣T中每列元素的最大值組成正理想方案解,每列元素的最小值組成負理想方案解。針對本文中的數(shù)據(jù)分析,指標值越小表示越接近最優(yōu)解,指標值越大表示越偏離最優(yōu)解,正負理想方案解針對本文需要重新定義。
Step4:本文將在計算距離時融入在第4 節(jié)中計算出的多指標權(quán)重分配值Wm1,既充分考慮畫質(zhì)專家對指標重要程度的評價信息,也補充了不同環(huán)境下手機畫質(zhì)色彩的客觀信息。
Step5:根據(jù)正負理想方案值計算相對指標ui,該值越大代表方案Ci更具有代表性。
選取10 臺來自不同手機廠商的手機,分別用C1,C2,…,C10表示。真實場景中放置ColorChecker標準二十四色卡,采樣過程中測試人員手持手機拍攝,同一場景盡量確保不同相機取景視場角一致,圖3 和圖4 為10 臺手機在同一場景下拍攝的圖像。從縮略圖可以看出,同一場景下不同手機獲取到的圖片的白平衡和色彩明顯不一致,色卡占整張圖像的百分比根據(jù)拍攝環(huán)境確定。圖5 為C3手機在部分場景下采集到的圖片,圖6 為C10手機在部分場景下采集到的圖片。

圖3 同一場景不同手機采集圖像1Fig.3 Images 1 collected by different mobile phones in the same scene

圖4 同一場景不同手機采集圖像2Fig.4 Images 2 collected by different mobile phones in the same scene

圖5 C3手機部分場景采集圖像Fig.5 Images collected by C3 mobile phone in the different scenes

圖6 C10手機部分場景采集圖像Fig.6 Images collected by C3 mobile phone in the different scenes
此次共拍攝76 個場景,合計760 組數(shù)據(jù)。在拍攝過程中,由于人為和環(huán)境變化等不可控因素,ColorChecker 標準二十四色卡的位置可能存在不同程度的變形。以上圖像都作為本次實驗的原圖像。在室內(nèi)正常光下,用C3手機拍攝標準二十四色卡的圖像作為目標圖像,標準二十四色卡占整張圖像接近100%。
采用SIFT 算法,對原圖像與目標圖像進行特征檢測,獲得圖像特征點集,去除誤差匹配點,獲取最佳匹配結(jié)果。對原圖像中的色卡參照目標圖像做透視變換裁切,確定24 個色塊的位置后反透視變換確定原圖像色卡中24 個色塊的位置。
由于有些照片是在逆光場景、低光場景和對焦模糊的場景下采集,導致特征點尋找不足或者不準確,色卡識別錯誤或者提取出來的24 個色塊會超過對應色塊的邊界。這部分圖像采用人工方式逆時針在原圖像上點擊二十四色卡的4 個角點D、E、F、G,繼續(xù)采用透視變換采集24 個色塊的坐標,并計算對應的指標值。
參照對應的指標原理,計算實景圖像中二十四色卡 第1~18 個色塊 的Mean_chroma、Delta_ab_mean、Delta_E_mean,第20~23 個灰階塊的S20、S21、S22、S23,第1~18 個 色塊的Delta_h 共8 項指標(用F1,F(xiàn)2,…,F(xiàn)8表示)。為了對比說明該算法的可行性和高效性,同時讓一位測試人員手動使用Imatest3.7 Image Sensor 專 業(yè)軟件分 析原圖像色卡的指標值,部分指標測試數(shù)據(jù)如表2所示。

表2 本次實驗部分指標數(shù)據(jù)Tab.2 Part of the index data of this experiment
在此次實驗過程中,統(tǒng)計了通過CIQA 自動提取698 張、人工提取62 張圖像色卡獲取指標的時間,以及測試人員用Imatest3.7 Image Sensor專業(yè)軟件分析使用的時間。使用CIQA 自動化成功率是91.84%,完成760 張照片分析的時間縮短為使用Imatest3.7 專業(yè)軟件的1/4(表3),這兩項數(shù)據(jù)表明自動化明顯提高了計算效率并節(jié)省了人力。

表3 CIQA 與Imatest3.7 對比說明Tab.3 Comparison description of the algorithm and Imatest3.7
由于在框選色塊的過程中,框的大小和位置對于CIQA 與Imatest3.7 分析不能保證完全一致,本文使用相關(guān)系數(shù)指標R說明兩者算法計算數(shù)值之間的一致性,相關(guān)系數(shù)皆大于0.9(表4),說明一致性趨勢較好。

表4 相關(guān)系數(shù)Tab.4 Correlation coefficient
隨機選擇20 個場景,共計200 組數(shù)據(jù)用于分析各指標權(quán)重,依照畫質(zhì)專家在評測中的先驗知識給出指標主觀權(quán)重分配w1,通過熵權(quán)法分析得出指標客觀權(quán)重分配w2,簡單加權(quán)平均求取w3=(w1+w2)/2,最后建立離差率最小二乘法模型計算8 個指標的權(quán)重值w4,計算結(jié)果如表5 所示。

表5 主客觀指標權(quán)重值Tab.5 Weight value of subjective and objective indicators
經(jīng)過與畫質(zhì)專家的商討,F(xiàn)2,F(xiàn)3,…,F(xiàn)8指標越小表示畫質(zhì)效果越好,F(xiàn)1指標越接近100%表示畫質(zhì)效果越好,所以F1指標數(shù)據(jù)在前期預處理時,采用delta=|F1-100|表示。對于剩余560 組數(shù)據(jù),針對不同的機型分別取平均值并歸一化處理數(shù)據(jù),數(shù)據(jù)見表6。

表6 各指標平均值(量綱不同)Tab.6 Normalized index data(different dimensions)
采用第4節(jié)中對應公式計算相應方案解和加權(quán)距離值,對手機方案進行排序,結(jié)果見表7。由計算結(jié)果可知,相機圖像畫質(zhì)色彩和白平衡效果由高到低依次是:C1>C9>C2>C4>C7>C5>C3>C6>C8>C10。

表7 正、負理想解以及各手機畫質(zhì)效果排序Tab.7 Positive and negative ideal solutions and ranking of image quality effects of mobile phones
CIQA 中的F1指標可根據(jù)實際需求調(diào)整,理論上越接近100%表示畫質(zhì)效果越好。但在手機廠商實際研發(fā)過程中,為更符合人眼對場景色彩飽和度高的要求,我們更新目標值為120%,且當F1≥120 時,delta=0,認為效果已滿足要求。當F1<120 時,delta=|F1-120|越 小,效果表現(xiàn)越好,其結(jié)果見表7 中對比方案2。該結(jié)果給出的排名為C2>C1>C9,雖然整體排名略有差異,但是對于選擇最佳方案具有一致性的參考價值,且與市場上對手機的評價基本保持一致。如圖7 所示,C2手機整體色彩飽和度較高,圖片中書本顏色與圖片拍攝者實地觀察到的顏色相一致,C10手機整體顏色較為暗淡,排名處于最后,C6則處于中間效果。

圖7 用于實驗分析的圖像Fig.7 Images used for analysis
為了進一步證實該方法的可用性,選擇目前研究領(lǐng)域中比較經(jīng)典的2 種評價方法。采用由觀測人員給出主觀評價分數(shù)的評價方法[30]和基于CIE DE2000 公式和印刷行業(yè)視覺驗證標準提出的評價方法[31]。
基于觀測人員給出主觀評價分數(shù)的評價方法[30]關(guān)鍵在于:評價圖像色彩飽和度、圖像單色的色彩還原準確性、膚色的準確性和美觀性。采用0~9 分評分規(guī)則,主要規(guī)定得分在7 分以上認為是好,6~7 分為較好,4~6 分為一般,4 分以下為差。在測試中,50 名女性和50 名男性共100 名年齡分布在20~40 歲的志愿者參與評分,對C1~C1010 臺手機拍攝的圖片給出分數(shù),匯總評價結(jié)果,去除2%明顯錯誤的主觀評分[31]。觀測條件在具有正常照明條件的實驗室環(huán)境中進行,分辨率為2 560×1 440 的LCD 顯示器用于顯示圖像。
基于CIE DE2000 公式和印刷行業(yè)視覺驗證標準提出的評價方法[32]關(guān)鍵在于:采用NBS 單元的思想,將DE2000 采用特定公式轉(zhuǎn)換為符合主觀感知的客觀分數(shù)。
上述兩種方法給出的排序結(jié)果列于表8 中,可以看出,雖然3 種方法最終得到的排序略有不同,排序前3 位是一致的,對于選出最佳的方案并無太大影響。這就意味著本文選取的指標和改進的TOPSIS 方法具有優(yōu)良的評價可靠性,本算法的判決結(jié)果與人眼的主觀感知高度一致。

表8 主客觀評測的對比Tab.8 Comparison of subjective and objective evaluation
本文提出基于SIFT 與透射變換相結(jié)合提取手機相機成像圖像中的色卡區(qū)域的方法。相較于使用Imatest3.7 專業(yè)軟件分析替代完全手工分析,自動化率為91.84%,大幅縮短了分析時間。在計算色彩與白平衡還原指標時,構(gòu)建離差率最小二乘法獲取各指標分配權(quán)重值,最后基于改進主客觀賦權(quán)的TOPSIS 算法對手機相機畫質(zhì)色彩效果進行排序。經(jīng)對比,算法有效性得到了驗證。
當然文中也存在不足之處。(1)后續(xù)應該增加圖像采集環(huán)境,多涉及如夜景、光照色溫混合等場景;(2)在某些惡劣天氣、低照明、圖像形變嚴重等復雜場景下的圖像識別暫未涉及;(3)相機畫質(zhì)的評價還涉及噪聲、細節(jié)還原等指標,可從多維度角度對相機畫質(zhì)做出綜合評價;(4)采集不同照度下的目標圖像,合并最優(yōu)特征點,提高自動化率等。后續(xù)還需要進一步深入學習與研究。