基于全局和局部特征的無參考夜間圖像質量評價

趙 月，王來花，齊蘇敏，王偉勝，劉 晨

(曲阜師范大學網絡空間安全學院，山東 曲阜 273165)

1 引言

圖像是描述現實情景的重要載體，是人類視覺和機器模式識別的重要信息來源之一，反映了客觀對象的有關信息。以照相機、手機為代表的圖像采集設備，在醫(yī)療、交通、教育等領域中的應用越來越廣泛。設備采集的圖像質量越高，越有利于信息的獲取。但是，圖像采集時的環(huán)境并不是完全符合人們意愿的，并且設備在采集過程中會出現抖動等現象。尤其是在夜間，由于光照條件不足，設備獲取的圖像對比度低[1]，灰度范圍較窄，相鄰像素不具備較高的空間相關性[2]，且特征點不明顯，使得圖像紋理特征不明顯，從而導致圖像無法完整地傳遞真實場景中的細節(jié)信息[3]，不利于人類的觀察與研究。因此，有效地評價夜間圖像的質量，對采集設備性能的優(yōu)化以及夜間圖像的可視化應用有著極其重要的意義。

最近幾年，針對夜間圖像質量的提升，眾多處理算法應運而生。王云飛等人[4]提出了一種基于條件生成對抗網絡的夜間圖像去霧算法，在除去夜間霧的同時還保留了圖像的清晰圖。曾皓等人[5]提出了一種基于ASIFT(Affine Scale-Invariant Feature Transform)的夜間圖像配準算法，避免了圖像中的重影問題，增加了圖像的細節(jié)信息。

隨著圖像處理技術的發(fā)展，圖像質量評價方法的研究得到進一步的重視。然而針對處理前后的夜間圖像缺乏專門的質量評價指標、相關數據庫和評價方法。主觀質量評價通過招募實驗人員對實驗圖像進行評價，更準確地反映了圖像給人類帶來的視覺體驗。但是，主觀評價不易于移植到實際的應用中，客觀圖像質量評價可以快速簡單地評價圖像質量，結合主觀分數可以衡量客觀評價的準確性，圖像質量評價主要分為全參考(Full- reference)、半參考(Reduced-reference)和無參考(No-reference)[6]。Wang等人[6]提出了結構相似性算法SSIM (Structural SIMilarity) 算法，通過對比參考圖和失真圖的亮度以及對比度和結構信息的一致性，評價圖像失真情況，該算法有效促進了圖像質量評價的發(fā)展。Mittal等人[7]提出了一種基于空域歸一化稀疏的BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)算法，通過把提取的圖像特征輸入回歸模型，評價圖像質量。文獻[8]首次建立了NNID(Natural Night-time Image Database)數據庫，為后期夜間圖像質量評價奠定了基礎。

范媛媛等人[9]應用BP(Back Propagation)神經網絡，實現了對無參考峰值信噪比質量評價方法中閾值參數的預測優(yōu)化，但只選擇了2個輸入，并不能很好地代表圖像的信息；楊文峯等人[10]提出一種基于BP神經網絡的皮膚鏡圖像綜合評價模型，可以很好地評價皮膚鏡圖像的質量，但輸入為光照不均、模糊、毛發(fā)因素的等級評分，并不能全面顯示圖像特征，等級評價不夠準確；李莧蘭等人[11]借助信息熵和對比度等信息通過BP神經網絡評價掌靜脈圖像的質量，提高了分類準確率；劉歆等人[12]利用等高線原理提取車型輪廓，缺點是迭代次數也就是弱分類器數目不太好設定，數據不平衡導致分類精度下降，訓練比較耗時；梁敏瑜等人[13]提取了邊緣梯度信息,并對圖像區(qū)域進行區(qū)域加權，但是該模型只用到了梯度幅值，對于圖像特征的考慮不是特別全面；薛萬勛[14]對邊緣檢測方法進行了改進，并結合BP-GA(Back Propagation Genetic Algorithm)神經網絡提出一種遙感圖像質量評價方法?；贐P在圖像質量評價中取得的效果，本文也將其應用于夜間圖像質量評價。

目前針對夜間圖像的研究依然較少。首先，夜間圖像由于光線弱、細節(jié)不清晰等特點，在質量評價上存在一定難度，通用質量評價方法應用到夜間圖像質量評價上效果欠佳。其次，缺少夜間圖像的評價指標。最后，全參考質量評價方法需要同時提供失真圖和參考圖，但在實際應用中，往往無法提供參考圖。因此，本文提出一種有效評價夜間圖像的無參考質量評價方法，更具有實際應用價值。

2 基于全局和局部特征的無參考夜間圖像質量評價方法

本節(jié)將詳細介紹提出的無參考夜間圖像質量評價方法，所提方法的框架圖如圖1所示，具體步驟如下:

(1)利用等高線原理，將夜間圖像分割為不同亮度等級的區(qū)域，根據閾值劃分為亮區(qū)域和暗區(qū)域，以亮區(qū)域占據整幅圖像的比例作為特征1。

(2)提取出夜間圖像的全局亮度，作為特征2。

(3)合并夜間圖像水平和垂直梯度2個方向上的邊緣圖，將合并后圖中的邊緣作為特征3。

(4)將夜間圖像從RGB轉化到HSI，分別提取色度、飽和度和亮度作為特征4～特征6。

(5)將上述特征與對應的平均意見值MOS(Mean Opinion Score)輸入BP神經網絡。

(6)將提取的測試圖像的特征輸入到訓練好的BP模型，即可預測夜間圖像質量分數。

Figure 1 Framework of the proposed method圖1 本文方法框架圖

2.1 等高線與局部亮區(qū)域

Figure 2 Contour division sample 圖2 等高線劃分示例圖

夜間圖像中存在亮度較好、圖像細節(jié)信息較為完整的局部區(qū)域，局部區(qū)域亮度越好，圖像中質量高的區(qū)域就越多，因此本節(jié)將局部亮區(qū)域作為夜間圖像質量的重要參考特征。等高線是利用空間上各點的高度作為該點投影在平面的坐標的函數，相同高度的相鄰點垂直投影到坐標平面上時位于同一等高線上，若干等高線構成的等高線簇可以繪制出空間圖像的輪廓[15]。由于圖像輪廓處可以反映明暗交界，本文結合等高線原理提取圖像中的局部亮區(qū)域，將圖2中夜間圖像進行等高線劃分，把灰度值相同的點確定在同一個平面上。

從圖2中可以看出，原圖中越暗的區(qū)域，數值越小。因此，本文通過式(1)將圖2中亮度不同的區(qū)域分割為暗區(qū)域與亮區(qū)域，如圖3所示。

(1)

圖3給出了部分夜間圖像經過劃分后的二值圖像。在圖4中將圖像按照MOS值降序進行排列，不難發(fā)現，圖像中黑色區(qū)域占整幅圖像的比例越高(即feature1越大)，圖像中亮區(qū)域越多，圖像質量越好。因此，根據式(2)將圖中的亮區(qū)域作為代表整幅圖像質量的特征提取出來。

Figure 3 Area division binary image圖3 區(qū)域劃分二值圖

Figure 4 Comparison image圖4 比較圖

(2)

其中，feature1代表亮區(qū)域特征，M代表圖像的長，N代表圖像的寬。對比圖4中將提取的特征與夜間圖像對應的MOS值，發(fā)現特征與MOS值保持一致。

2.2 全局亮度

視覺的特性是非線性的，過亮或過暗的圖像質量都不好，因此適當的亮度是人類視覺評價圖像質量的最重要參數[16]。視覺生理研究發(fā)現：人眼在觀察圖像時，先是獲取圖像的整體信息，然后才是圖像的局部信息[17]。亮度會影響夜間圖像的對比度和像素值，使圖像夾雜較大噪聲，灰度覆蓋范圍較為集中，且圖像中會丟失大量的細節(jié)[18]。當全局亮度值過低時，圖像中細節(jié)不易觀察，則質量越差，當圖像過分曝光，圖像質量也會下降。

夜間圖像的亮度是決定圖像質量的重要因素，而RGB本身沒有亮度分量。在彩色電視中，PAL制亮度誤差最小[19,20]。因此，本文采用式(3)所示的亮度方程，提取全局亮度，將其作為夜間圖像的特征。

Bright=0.3*f(:,:,1)+

0.59*f(:,:,2)+0.11*f(:,:,3)

(3)

其中，Bright代表圖像的全局亮度，f(:,:,1)、f(:,:,2)和f(:,:,3)是分別表示圖像的R、G和B 3個顏色通道中的三基色值。

2.3 邊緣檢測

人眼對圖像質量的評價一部分是基于圖像的結構信息，而圖像的主要結構信息集中在邊緣處[21]。邊緣處圖像的灰度值會發(fā)生突變，在突變處圖像梯度存在極大值，因此利用梯度可以很好地反映出圖像的紋理結構信息。

本文利用微分算子法計算夜間圖像的水平梯度和垂直梯度，然后利用水平梯度和垂直梯度分別求得2個方向上圖像的邊緣Edge_x和Edge_y。

(4)

其中，Edge_f是夜間圖像合并水平和垂直2個梯度方向上邊緣的邊緣圖，(i,j)是像素點坐標。

梯度邊緣圖如圖5所示。將Edge_f中的邊緣作為夜間圖像的特征，可以看出提取的邊緣越多，夜間圖像中的物體細節(jié)越易觀察。

Figure 5 Gradient edge image圖5 梯度邊緣圖

2.4 HSI空間分量提取

HSI與人類視覺認知的彩色圖像具有高度一致性[22]。HSI顏色模型包括3個分量：色度、飽和度和亮度,HSI分量圖如圖6所示。3個分量相互獨立，其中1個分量發(fā)生變化不會引起另外2個分量變化。其中，I代表顏色的明亮程度，主要是從顏色角度出發(fā)，側重于描述色彩。在夜間圖像中由于光線不足，RGB圖像中各個分量會相互影響，因此本文根據HSI中變量相互獨立的特性，將H、S、I3個特性作為夜間圖像質量評價的標準。

H=arccos((0.5*(2*f(:,:,1)′-f(:,:,2)′-

f(:,:,3)′))/(((f(:,:,1)′-f(:,:,2)′)2+

(f(:,:,1)′-f(:,:,2)′)*((f(:,:,3)′-

(5)

(6)

(7)

Figure 6 HSI component images圖6 HSI分量圖

2.5 質量評價模型

本節(jié)采用BP神經網絡建立夜間圖像質量評價模型，以評價最終圖像的質量。將前文提取的6個重要特征作為輸入層，設定隱含層為4層，將對應的MOS值作為輸出層。本文BP神經網絡的訓練過程如圖7所示。

Figure 7 BP prediction model圖7 BP預測模型

3 實驗結果與分析

3.1 數據庫

迄今為止，針對夜間圖像的質量評價數據庫并不多，本文采用的是NNID數據庫[8]。此數據庫包含448組圖像，每組有曝光、光圈、快門、ISO設置不同的5幅圖像，總共2 240幅夜間圖像，這些圖像的拍攝位置、拍攝角度、景深和焦距保持一致。如表1所示，按拍攝設備分類，280組圖像是由數碼相機(Nikon D5300)捕獲的，128組圖像是由手機(iPhone 8plus)捕獲的，剩余40組是由平板電腦(iPad mini2)捕獲的。按分辨率分類，分辨率為512×512,1024×1024和2048×2048的圖像各為268,90和90組。所有圖像均以JPEG格式保存。

Table 1 NNID database

3.2 性能衡量準則

衡量一個算法性能的優(yōu)劣通常是看該算法對各種失真圖像的評分和數據庫中給出的平均主觀評分值之間的相關度，相關度越高，說明該算法的性能越好，反之越差。本文采用以下4個評價參數，它們分別是SRCC、KRCC、PLCC和RMSE。SRCC、KRCC和PLCC取值在[0,1]，越接近1越好。RMSE取值在[0，∞]，越接近0越好。

在計算了目標分數之后，本文通過5參數邏輯函數將分數映射到主觀評分，如式(8)所示：

δ4·x+δ5

(8)

其中，F(x)是擬合的分數，x是客觀得分，δ1、δ2、δ3、δ4和δ5是回歸函數的系數。x映射到F(x)，其幅度范圍與MOS相似。

3.3 測試與驗證

本節(jié)給出了部分夜間圖像對應的MOS值及其6個特征值，較高的MOS值意味圖像的質量較好。夜間圖像數據庫中并未給出參考圖像，因此選擇內容一致且質量最好的夜間圖像作為偽參考圖像。通過對比MOS值和特征值，發(fā)現本文提取的特征值與MOS值具有高度一致性。

因早期并沒有針對夜間圖像的數據庫，所以在夜間圖像質量評價的研究上缺少針對性的方法。為了驗證本文方法的有效性，選取了主流質量評價方法在NNID數據庫上進行實驗，包括：ADD-SSIM[23]、IL-NIQE(Integrated Local-Natural Image Quality Evaluator)[24]、NIQE(Natural Image Quality Evaluator)[25]、GSM[26]、QAC(Quality- Aware Clustering)[27]、ARISM(AutoRegressive-based Image Sharpness Metric)[28]、LTG(Local-Tuned-Global)[29]和 QMC(Quality assessment Metric of Contrast)[30]。

選取80%的圖像組成訓練集，20%的圖像組成測試集。為保證評估的準確性，避免因一次分割數據集導致的偶然結果，進行了1 000次迭代實驗。在圖8中給出了隨機劃分后本文方法的預測分數(Proposed值)與夜間圖像數據庫中提供的MOS值的比較，從數值比較中可以直觀地看出：本文方法預測偏差較小，與主觀分數具有一致性。

Figure 8 Comparison of some predicted values and MOS values圖8 部分預測值和MOS值比較

此外，本文還用劃分后的數據基于支持向量回歸SVR(Support Vector Regression)訓練了一個質量模型，并將其與BP模型進行對比。將80%的數據用于訓練，20%的數據用于測試，隨機訓練1 000次，將訓練結果的中值作為實驗結果，最終得到：PLCC=0.8383,SRCC=0.8329,KRCC=0.6449,RMSE=0.1115。

在圖9中給出了算法的散點圖。為避免偶然性，本文只給出測試集圖像的散點圖。其余算法均是基于整個數據庫，從圖9中可以直觀地看出，主流的評價算法不能有效評價夜間圖像的質量，這與夜間圖像的特點是密不可分的。因此，針對夜間圖像設計一個專用的質量評價方法是具有實際價值的。

Figure 9 Scatter plots of different methods圖9 不同方法的散點圖

傳統(tǒng)2D圖像質量評價方法并不能有效地評價夜間圖像，IL-NIQE取得了PLCC=0.7160，SRCC=0.7103的結果，顯然這樣的結果并不令人滿意。本文提出的方法在PLCC和SRCC上的取值均超過0.8，與主觀分數具有一致性。SVR在PLCC、SRCC和KRCC上的表現均不如本文方法，但是在RMSE上的表現比本文方法更優(yōu)。更值得強調的是，由于夜間圖像數據庫中并未提供參考圖像，本文無需借助參考圖像進行實驗，解決了現實條件下無法獲得參考圖像的問題，因此本文方法更具有實際參考價值。

4 結束語

針對現有的特征提取方法無法有效提取夜間圖像的特征，從而無法準確評價夜間圖像質量的問題，本文提出了一種結合全局和局部特征的無參考夜間圖像質量評價方法。首先借助等高線原理，將灰度值不同的圖像視為地理學中復雜的地形，從而將圖像分為亮區(qū)域和暗區(qū)域2部分。其次，提取了夜間圖像的全局亮度。再次，通過微分算子法計算夜間圖像的水平和垂直梯度，合并2個方向上圖像的邊緣。然后，將HSI空間中的3個分量色度、飽和度、亮度分別作為特征4～特征6。最后，將上述特征作為BP神經網絡的輸入，MOS值作為輸出，反復迭代，得到訓練好的神經網絡。至此，便可以利用模型評價夜間圖像的質量。實驗結果表明，所提方法的性能優(yōu)于主流的圖像質量評價方法。后續(xù)工作將重點集中于由U-net對夜間圖像進行分割，分塊提取圖像特征，以更加全面地評價夜間圖像質量。

Table 2 Performance comparison on NNID database