一種多圖像局部結構化融合的低照度圖像增強算法

徐少平 張貴珍 林珍玉 劉婷云 李崇禧

標準成像設備在背光、微光、夜間等照明條件不佳的環境下采集到的低照度圖像必須經過增強處理后才能用于后繼的各類圖像處理任務[1?3].早期,低照度圖像增強(Low-light image enhancement,LLIE) 算法主要采用直方圖均衡化(Histogram equalization,HE)技術實現[4?5].HE 方法本質上是通過拉伸圖像像素點灰度值的范圍讓它們在系統允許范圍內均衡分布,從而達到增加對比度的目的.因其實現復雜度低,得到了廣泛的應用,但這類算法很容易出現過增強、欠增強、細節保護不佳等問題[6?8].近十年來,研究者發現倒置后的低照度圖像從直觀角度看起來很像霧霾圖像[9?10],因此借用去霧技術實現了一類視覺增強效果不錯的LLIE 算法[9?10].這類算法雖然在大多情況下能產生較為理想的增強效果,但其結果缺乏令人信服的物理模型解釋,增強后的圖像中有時存在明顯的顏色失真.

在過去的十多年中,基于Reinex 光照物理模型實現的一類LLIE 算法[11?14]獲得了研究者的廣泛關注.該類算法通常利用對數函數將光學中照射分量(Illumination)與反射分量(Reflectance) 乘性關系轉換為加性關系處理,然后采用某種先驗正則項構建目標函數,并通過尋優的方法估計照射分量,將低照度圖像中的照射分量分離后得到反映場景對象本身性質的反射分量,從而實現圖像增強.例如,Guo等[12]提出了一種稱為LIME (Low-light image enhancement)低照度圖像增強算法.LIME 算法首先對低照度圖像照射分量進行初步估計,然后利用結構先驗知識對初步估計結果進行優化,最后根據優化后的照射分量實現圖像增強.此外,為了抑制增強圖像時引入的噪聲,LIME 算法采用了經典BM3D (Block-matching and 3D filtering)[15]降噪算法完成增強圖像的后處理.上述各類LLIE 算法在設計上均是僅利用單一的低照度圖像作為算法的輸入,雖然在視覺上可以獲得比較理想的增強效果,但由于要完成照射分量和反射分量的分離,在執行效率上偏低,在對執行時間有嚴格要求的應用中受到一定的限制.另外,單幅低照度圖像中所蘊含的有效信息畢竟有限,導致這些算法不能全面有效地展示圖像中所有的細節.因此,為充分利用自然圖像中所蘊含的先驗知識達到提高增強效果的目的,基于機器學習的LLIE 算法成為研究者關注的熱點[16?17].例如,Lore等[16]利用深層自動編碼器構建了稱為低照度圖像增強網絡的增強算法.Lore 算法能在對比度增強中有效地克服噪聲的影響,在一些常見測試圖像中能達到不錯的增強效果.Park等[17]基于Retinex 模型原理將疊加式和卷積型兩種自動編碼器相結合,提出了一種基于訓練的LLIE 新算法,實現了低照度圖像增強和降噪功能.該算法首先使用帶有少量隱藏單元的堆疊式自動編碼器估計輸入圖像的空間光滑照射分量,然后使用卷積自動編碼器來處理圖像,以減少對比度增強過程中引入的噪聲.一般來說,基于機器學習實現的LLIE 算法,雖然能夠獲得比傳統方法更具優勢的增強效果,但其性能仍然在一定程度上受到限制,其主要原因在于采集用于訓練模型的圖像數據集合比較困難.

近年來,研究者們受高動態范圍技術(將同一場景中拍攝的一組不同曝光度的圖像,通過圖像融合方法獲得高質量輸出圖像)啟發,基于給定的低照度圖像及基于它生成的多幅不同曝光度的圖像,通過將它們之間互補性的圖像信息融合在一起,獲得了更好的圖像增強效果[18?24],是研究LLIE算法的新方向之一.例如,Fu等[19]首先在Reinex模型下快速地將低照度圖像分解為照射分量和反射分量,對于照射分量使用局部和全局優化技術增強.然后,根據圖像質量指標設置像素點級的權重值,將原始、局部和全局優化后的3 幅照射圖像在多尺度融合框架下融合為一幅最佳照射圖.最后,通過將優化后的照射圖補償到反射分量上獲得最終的增強圖像.Fu 算法采用多尺度融合的方式提高了增強圖像的視覺質量,在細節增強、局部對比度改善和自然度保持方面獲得了最佳平衡.但是該算法輸出的增強圖像中某些區域的可見性仍然不夠高.Liu等[22]提出了一種基于最優加權多曝光融合機制的LLIE 算法.該算法首先使用多個色調映射函數構造關于低照度圖像的多幅不同曝光度版本,接著根據視覺感知質量度量自適應地從所有的多曝光圖像序列中定位出局部最佳曝光區域,然后將它們無縫地集成到一個曝光良好的圖像中.經過Liu 算法增強的圖像,能達到理想的顏色保真效果,同時也保留了低曝光圖像中的一些細節,但是處理曝光度非常低的圖像仍無法取得令人滿意的效果.Ying等[18]提出了一種基于互信息最優偽曝光技術的LLIE 新算法.該算法基于給定的低照度圖像,首先基于互信息最大化的原則利用偽曝光技術獲得一幅關于低照度圖像的適度曝光圖像,然后根據圖像像素亮度值設置權重將低照度圖像和適度曝光圖像兩幅圖像在像素級上完成融合.總體上,Ying 算法實現效率高且增強效果不錯,然而Ying 算法在計算融合圖像的權重時僅是考慮圖像像素點本身曝光度,這種圖像加權的方式對于自然圖像復雜的局部結構過于簡單,且對噪聲比較敏感,導致最終在增強后的圖像中仍然有很多圖像細節未能很好地得到保護和增強.此外,Ying 算法僅采用一幅曝光適度的偽曝光圖像作為低照度圖像的互補圖像,所能提供的有用信息仍然不夠全面.在適度曝光的圖像中,仍然存在曝光不充分的區域需要增強.

受Ying 等算法啟發,為了獲得更好的圖像增強效果,本文提出了一種在多圖像局部圖像結構化融合框架下的LLIE (Multi-image local structured fusion-based LLIE,MLSF-LLIE)算法,從待融合圖像制備和局部結構化融合兩個方面對Ying算法進行改進.基于給定的低照度圖像,MLSFLLIE 算法先利用預先訓練的最佳曝光度預測模型(Optimal exposure ratio prediction model,OERPM)預測其最佳曝光度值,在偽曝光模型下制備用于融合的適度增強圖像和過曝光圖像(采用比最佳曝光度值更高的曝光度值生成)各一幅.此外,還將Fu 算法[19]輸出的增強圖像作為適度增強圖像參與融合.基于Reinex 光照物理模型構建的Fu 算法所輸出的增強圖像,在細節保護、圖像保真度、噪聲抑制方面可以與Ying 偽曝光模型生成圖像形成很好的互補作用.另一方面,為了更好地保持圖像的邊緣和紋理細節,采用了局部結構化分解和重構的融合技術將之前制備的圖像融合后作為最終的增強圖像.實驗結果表明: 所提出的MLSF-LLIE 算法不僅能對低照度圖像中的對比度進行合理調整,展現出更多的圖像內容,而且很好地保護了圖像的邊緣細節,在主客觀圖像質量評價指標上優于現有大多數主流算法,這主要得益于充分利用了多幅不同曝光度圖像中的互補性信息和局部結構化的融合.

1 相關的工作

1.1 Ying 算法簡介

Ying 算法[18]本質上屬于在像素點級上完成融合的低照度圖像增強算法,其核心框架可以形式化地描述為

其中,K是待融合圖像的數量,c={r,g,b},(i,j)表示待融合圖像集中第k幅圖像c通道上在空間位置 (i,j) 處對應的像素點的亮度值,(i,j) 表示(i,j)的權重值,Rc(i,j)表示融合后圖像c通道上在像素點(i,j)處的亮度值,Ying 算法對圖像中不同空間位置處的像素點采用不同的權重進行融合,其中,對曝光良好的像素點賦予更大的權重,反之則賦予較小的權重.在融合前利用歸一化操作保證各個待融合圖像同一像素點位置的權重滿足圖1給出了Ying算法的執行流程框圖,其主要步驟為: 首先,基于給定的低照度圖像獲得一幅曝光適度的偽曝光圖像,Ying 算法采用亮度轉化函數(Brightness transform function,BTF)Ie=g(Io,δ) 生成一幅偽曝光圖像.函數g(·,·)中的參數Io是低照度圖像,δ是曝光度,而Ie則是依據基于Io和δ生成的偽曝光圖像.具體實現時,Ying 算法僅生成一幅偽曝光圖像,而確定偽曝光圖像所需要的曝光度的過程則是通過窮舉搜索δ ∈[3,8]范圍內[18]所有可能曝光度的偽曝光圖像,并與輸入低照度圖像計算互信息,采用互信息最大值所對應的曝光值作為最佳曝光度,故執行效率比較低.待融合圖像制備完成后,Ying 算法根據低照度和偽曝光圖像中對應像素點位置曝光程度的好壞確定各個像素點權重,并利用式(1)完成像素級的圖像融合.由于Ying 算法僅使用兩幅圖像進行融合,所以融合過程可以簡化描述為

圖1 Ying 算法中實現低照度圖像增強的融合框架Fig.1 Fusion framework of low-light image enhancement in Ying algorithm

1.2 Ying 算法優缺點分析

從圖1 中可以看出,原始低照度圖像經過BTF函數偽曝光后,圖像中曝光不足的區域在偽曝光圖像中得到適度曝光.同時,在原圖像曝光正常的區域,偽曝光圖像中也存在曝光過度的情況.這樣,原低照度圖像和偽曝光圖像正好可以形成互補,因此通過合理融合后可以獲得令人滿意的增強效果.然而,在偽曝光圖像中可以觀察到人物區域的對比度仍然有待進一步提高,Ying 算法所確定的最佳曝光度僅是從圖像全局角度出發,在所有可能的曝光度范圍內選擇一幅與原低照度圖像具有最高互信息的圖像參與融合.因此,在圖像中仍有很多局部細節無法得到充分的曝光,也存在過增強情況.故為了獲得更好的圖像增強效果,應該使用更多圖像參與融合.此外,Ying 算法中像素點融合權值是根據像素點曝光度好壞直接確定,僅由像素點亮度值來決定,沒有考慮圖像局部結構的細節信息,因此融合后的圖像中存在對紋理細節保護不夠的問題.

2 MLSF-LLIE 算法

2.1 改進思想

本文從獲得更多、更好且與低照度圖像具有互補性圖像和改進圖像融合權重設置機制兩個方面入手,試圖進一步改進Ying 算法的性能.所提出的MLSF-LLIE 算法分為兩個階段來完成:

1)待融合圖像制備階段.首先,采用與圖像質量評價(Image quality assessment,IQA)算法類似的實現方法,在樣本圖像數據庫上通過訓練的方法構建圖像質量感知特征(主要用來刻畫對比度等反映低照度圖像質量的特征)與最佳曝光度之間映射函數,得到OERPM 最佳曝光度預測模型.一旦模型訓練完成,利用該模型可以直接基于低照度圖像得到它的最佳曝光度值δopt,從而基于δopt利用BTF 函數即可生成一幅最佳偽曝光圖像(作為適度增強圖像),無需像Ying 算法那樣窮舉搜索最佳曝光度值.同時,還可以在最佳曝光度值δopt的基礎上提高△δ(△δ=1 為經驗值),生成一幅過曝光圖像使得最佳偽曝光圖像中仍然有可能未得到充分曝光的區域得到充分曝光.另外,本文將Fu 算法[19]所輸出的圖像作為適度增強圖像來使用,讓其參與圖像融合.Fu 算法能夠在背光、非均勻光照和夜間拍照等情況下實現較好的增強效果(在局部對比度增強和圖像自然保持度方面具有優勢,但圖像整體偏暗).故將其輸出圖像作為適度增強圖像,與Ying算法生成的適度增強圖像可形成互補.

2)融合階段.改變Ying 算法基于像素點級別且僅依賴像素點曝光度設置權重系數的融合策略,采用在圖塊級上完成圖像融合的方法,具體分為3個步驟實現: a)提取待融合圖塊集合并完成結構化分解[25].以 (i,j) 像素點為中心像素點的融合過程為例,提取K個融合圖像在 (i,j) 像素點處的圖塊集合{Pk(i,j)|1≤k ≤K},并將這些圖塊分解為對比度(Contrast)值、紋理結構(Structure)矢量和亮度值(Brightness)三個分量.b)分別完成三個分量的融合.對于對比度分量來說,由于對比度分量是人眼感覺圖像內容最重要的決定性因素,因此在各個待融合圖塊中具有最高對比度值的分量值直接作為融合后圖塊的對比度分量值;紋理結構分量主要是用來刻畫圖像的邊緣細節信息,各個待融合圖塊的紋理結構分量在最終融合圖塊中所占權重將根據(i,j)處相位一致性(Phase congruence,PC)系數值來設置;對于亮度值分量,理論上亮度值越高,人眼的關注度更高,各個待融合圖塊的亮度值在最終融合圖塊中所占的權重將根據 (i,j) 處視覺顯著度(Graph-based visual saliency,GBVS)系數值[26]來設置.c)重構圖塊.按照分解過程的逆過程將融合后的三個分量重構為圖塊,作為融合后圖像在(i,j)處的圖塊.

2.2 偽曝光圖像制備

2.2.1 圖像質量感知特征

所提出的OERPM 模型是基于訓練策略在大量典型圖像上構建對比度感知特征值與最佳偽曝光度之間的回歸預測模型,類似于IQA 算法的工作框架,只是目標函數值為最佳偽曝光度值而已.其中,提取能夠反映給定低照度圖像質量的感知特征矢量是基礎性的工作.為了刻畫低照度圖像的圖像特性,本文采用了3 種類型的特征值.第1 類為基于對比度能量定義的特征值[27],其定義為

其中,Y(Ic)=((Ic ?ch)2+(Ic ?cv)2)1/2,c={r,g,b}分別表示彩色圖像I的3 個通道,ch和cv分別代表高斯函數的水平和垂直方向的二階導數.參數α=max[Y(Ic)],θ控制對比度增益,?c作為閾值來限制噪聲的影響.第2 類為在PC 相位一致性映射圖基礎上定義的熵

其中,IPC是圖像I對應的灰度圖像上的PC 映射圖,其具體定義可參見式(10).第3 類為反映圖像銳度的特征值,其主要通過計算圖像小波子帶的對數能量來定義.為計算該特征值,首先使用9/7 離散小波變換(Discrete wavelet transform,DWT)濾波器將灰度圖像在3 個尺度上進行分解,獲得分解后的子帶分量為{LHl,HLl,HHl|l=1,2,3},然后計算每個子帶能量的對數值

其中,n分別代表LH (Low-high)、HL (High-low)和HH (High-high)子帶,而Nl是在l尺度的DWT系數值的總數,基于此,最后計算每個尺度上的對數能量

其中,參數ω=4,其目的是給予 H H 子帶上更大的權重.由于尺度1 對圖像質量描述能力差,故僅選用在尺度2 和尺度3 上獲得的能量對數特征值作為描述圖像質量的感知特征值Fs={LE2,LE3}.這樣,共選6個特征值來刻畫圖像質量的優劣,即F={CEr,CEg,CEb,EPC,LE2,LE3}.

2.2.2 構建OERPM 模型

對于任意給定的一幅用于訓練的低照度圖像,采用窮盡搜索的方法在δ∈[3,8] 范圍[18]內以間隔0.1 的步長生成一系列對應的偽曝光圖像,并利用無參考的圖像質量評價(No-reference image quality assessment)算法度量每個偽曝光圖像的圖像質量,從中選擇質量最好的偽曝光圖像并記錄對應的曝光度值δ.這樣,對于給定的低照度訓練圖像集合,依據上述方法可以從每幅低照度圖像中提取的特征矢量Fi={CEr,CEg,CEb,EPC,LE2,LE3}及其對應的最佳曝光度值δi從而構成訓練集{(F1,δ1),(F2,δ2),···,(FN,δN)}?F ×R.基于此,可以通過訓練的方法獲得預測函數φ(·),以實現圖像質量感知特征矢量到最佳曝光度值之間的映射.鑒于深度置信網絡(Deep belief network,DBN)[28]強大的預測非線性映射能力,本文采用DBN 網絡實現上述的預測模型.

2.3 局部結構化融合

2.3.1 信號分解

為了充分利用像素點及其鄰域像素點的局部結構關系,實現在圖像增強過程中更好地保護圖像中的紋理邊緣細節信息,MLSF-LLIE 算法采用在圖塊級上進行圖像融合[25].首先,用{Pk(i,j)|1≤k ≤K}表示一組在K幅不同曝光程度圖像的同一空間位置 (i,j) 像素點處提取的K個圖塊集合.對于Pk圖塊將其列矢量化為cN2維的列矢量Pk,c是每幅輸入圖像的通道數(灰度圖像時值取1,彩色圖像時值取3),N是圖塊的長和寬大小.對于Pk所表示的列矢量,可以將其分解為由對比度值、紋理結構矢量和亮度值3 個分量構成

其中,φ1,φ2,φ2分別是各個分量的融合函數.

2.3.2 對比度分量融合

融合后圖塊的對比度分量直接采用所有參與融合的對比度值中最大值

2.3.3 紋理結構矢量融合

為了在融合后結構矢量分量中保留更多結構信息,利用相位一致性PC 值來加權各個sk.PC 值作為在頻率域上定義的度量值,是一個無量綱的量,它的值在[0,1]范圍內.它原本是一種檢測圖像邊緣特征的方法,可以檢測出邊緣細節特征且能很好地反映人眼視覺特點,尤其是PC 值的大小不會因為原始圖像的亮度和對比度而受到影響.根據文獻[29],PC 可以從構建能量模型角度定義為

其中,|E(i,j)|表示在空間位置上 (i,j) 像素點的局部能量,是局部振幅.en和on分別是偶和奇對稱log-Gabor 濾波器的響應[30].由式(10)可知,PC 值即為局部能量與所有局部振幅之和的比值,它實質上是圖像各個頻率成分的相位相似度的一種度量.普通邊緣檢測算子的原理是基于灰度圖像像素值梯度的變化程度實現邊緣的檢測,其檢測結果嚴重依賴于圖像亮度和對比度,然而PC 值對于圖像中的邊緣細節檢測能力卻很強,即使是在對比度非常弱的區域,也能夠檢測到邊緣細節的存在,因為它不受圖像亮度或對比度變化的影響.為了保護好參與融合圖塊中的{Pk(i,j)|1≤k ≤K}的紋理邊緣信息,本文從待融合圖像上獲得的PC 映射圖系數值作為加權系數,其歸一化后為

這樣,融合后的紋理結構矢量可以計算為

為了更加直觀地展示PC 度量值實際加權效果,圖2 列出了一幅低照度圖像的原始圖像、適度曝光和過曝光圖像及其它們對應的PC 映射圖.其中,圖2(a)是原圖,圖2(b)是利用BTF 函數根據模型預測最佳曝光度δopt下生成的適度曝光的圖像,圖2(c)則是在曝光度δopt+1 下生成的過曝光圖像.圖2(d)～ 2(f)則是分別與之對應的PC 映射圖,在PC 映射圖中,亮度越高表示該像素點處的紋理結構強度更高.由圖2(a)～ 2(c)可以看出: 隨著圖像曝光度逐漸增強,石屋門的上方原本不易觀察的區域在亮度和對比度方面逐漸改善,這在PC 映射圖上得到相應反映,PC 映射圖也越來越亮.這意味著適度曝光圖像或者過曝光圖像中這些區域中的像素點在未來融合時所占的權重系數將更大一些,符合設計要求.

圖2 待融合圖像紋理結構權重的比較分析Fig.2 The weight analysis of the texture structure component for images to be fused

2.3.4 亮度值分量融合

本文利用GBVS 視覺顯著性度量[26]作為各個Pk圖塊中亮度值分量在融合時所占的權重系數,具體步驟如下: 首先,獲取多尺度的亮度信息.對輸入的圖像Ik轉化成的灰度圖,使用高斯金字塔低通濾波器對其進行濾波.高斯金字塔的每一層都是一個二維高斯低通濾波器

其中,(i,j) 為圖像中點的位置,σ稱為尺度因子.其次,獲取多尺度的方位信息.用Gabor 金字塔濾波器組對原始灰度圖像Ik進行濾波,以得到方向上的信息.二維Gabor 濾波器表示為

其中,σ為尺度因子,f為正弦波頻率,θ為方位.一般情況下可以取θ=[0,π/4,π/2,3π/4].即在4 個方向上濾波,可以得到4 組不同尺度下的濾波結果.然后,求不同尺度和不同特征圖的馬爾科夫平衡.對上述每個通道內每個尺度的濾波結果,根據其像素間的差異和歐氏距離建立各自的馬爾科夫鏈,然后求其馬爾科夫平衡分布.最后在所有組、所有尺度的濾波結果依次計算出平衡分布后,將結果按照通道疊加起來并歸一化得到顯著圖.與PC 映射圖的用法類似,對于參與融合的圖像Ik,在計算其各個待融合圖像的GBVS 映射圖后,以GBVS 映射圖數值作為加權系數,其歸一化后為

這樣,融合后圖塊的亮度強度分量可以計算為

為了展示GBVS 視覺顯著度對分量的加權的處理效果,圖3(d)～ 3(f)給出了圖3(a)～ 3(c)對應的GBVS 映射圖.在各個GBVS 映射圖中,容易觀察到的區域用顯著的顏色標出,顏色越紅表示關注度越高.從圖3(d)～ 3(f)中可以看出,隨著曝光度的增高,人眼對圖像的關注點從完全專注于圖像的背景部分(遠處房屋密集區)開始逐漸向前景部分(近處屋頂周圍)擴展,這與低照度圖像經過偽曝光后,圖像前景部分的對比度增強有顯著對應關系,表明在適度曝光和過曝光圖像中,前景房頂區域將在未來融合的時候所占據權重將更大,這與設計目標相一致,故采用GVBS 映射圖作為加權系數可以更好地反映人眼視覺關注圖像信息的特點.

圖3 待融合圖像亮度值權重的比較分析Fig.3 The weight analysis of the brightness component for images to be fused

2.3.5 重構

一旦由式(9)、式(12)和式(16)分別確定、、分量,可得到融合后的矢量.根據式(7)的逆過程,可得到融合后的圖塊.上述融合過程在圖塊級上完成的,在具體實現時,以光柵掃描過程提取重疊的(Overlapped)圖塊并進行融合.融合圖像某一空間位置 (i,j) 處的像素點亮度值其實是以(i,j)處周圍相鄰像素點為中心像素點各個重疊重構圖塊在 (i,j) 處亮度值的均值[31].

2.4 噪聲抑制

與文獻[12,19,32]采取的策略相同,在低照度圖像完成增強完成后,本文利用經典BM3D 降噪算法[15]完成噪聲抑制.文獻[12,19,32] 在利用BM3D 算法降噪時并沒有考慮到不同低照度圖像增強后圖像中噪聲的嚴重程度是不同的,而是使用某個固定噪聲水平值σ(或人工設置)作為BM3D入口參數值,這使得BM3D 算法完成降噪任務時并不能在噪聲抑制和圖像細節保護之間獲得最佳的平衡.為此,本文基于筆者之前在文獻[33]中的工作,利用所提出的噪聲水平估計 (Noise level estimation,NLE)算法估計增強后圖像中的噪聲水平值大小,并將該值作為BM3D 算法的入口參數值.這樣可以根據增強圖像中噪聲的嚴重程度自適應完成降噪,從而在圖像降噪和細節保護兩個方面實現最佳的平衡,相關的實驗結果在下一節中給出.

3 實驗與分析

3.1 測試環境

為了驗證所提出的MLSF-LLIE 算法對低照度圖像的圖像增強效果,從文獻[11,18,34]、文獻[19?20]、文獻[35]、文獻[36]和文獻[37]中選取了15 幅、22 幅、41 幅、8 幅和4 幅(共90 幅)低照度圖像.這些圖像沒有無失真圖像作為參考圖像,只能用無參考IQA 評價指標進行度量.另外,從文獻[37]中隨機選取了90 幅低照度圖像(有原始對應的無失真圖像作為參考圖像,可用無參考和有參考IQA 評價指標來進行度量).測試圖像集中8 幅有代表性的低照度圖像如圖4 所示.選取了7 個主流LLIE 算法參與對比,即HVS[38]、Fu2016a[20]、Fu2016b[19]、Ying[18]、LIME[12]、Li[11]和FFMD[32].其中,對比算法均采用其默認的最優參數,而所提出的MLSF-LLIE 算法由于采用4 幅圖像參與融合,過度曝光值采用在最佳曝光度值的基礎上提高1,故MLSF-LLIE 算法關鍵參數設置為K=4 ,?δ=1.采用NIQMC (No-reference image quality metric for contrast distortion)[39]、BIQME (Blind image quality measure of enhanced)[40]、BOIEM (BIQME-optimized image enhancement method)[40]和IL-NIQE (Integrated local natural image quality evaluator)[41]四個無參考IQA 指標以及IWPSNR (Information content weighted peak signal to noise ratio)[42]和IW-SSIM (Information content weighted structure similarity index measure)[42]兩個有參考IQA 指標衡量各個算法的圖像增強效果.其中,NIQMC、BIQME 和BOIEM (后兩個指標考慮了亮度、色彩等失真情況)三個指標值越高,表示圖像中的對比度越好,但對圖像整體的圖像質量描述能力相對較弱,并不表示整體的圖像質量就一定好.ILNIQE 是一個通用型的無參考IQA 指標,所評價的失真類型比較全面,該指標值越小則表示圖像整體質量越好.IW-PSNR 和IW-SSIM 這兩個有參考IQA 指標值越大,則表示與原始無失真圖像越接近,圖像增強的效果越好.相對來說,有參考評價指標比無參考評價指標度量圖像質量更為準確一些.實驗的硬件平臺為: Inter(R) Core(TM) i7-4770、3.40 GHz CPU、16 GB 內存,軟件環境為:Windows 7.0 操作系統,MATLAB R2017b 編程環境,全部實驗都是在以上的統一環境下完成.

圖4 測試集中選出的8 幅有代表性的圖像集合Fig.4 Eight representative images selected from the test set

3.2 代表性圖像增強效果分析

為了更加直觀地評價各個對比算法的視覺增強效果,圖5～ 7 列出了不同光照情況的低照度圖像經過各算法增強后的效果圖.其中,圖5 給出了在夜晚(極差照明條件下)拍攝的Tree 圖像的增強效果圖.從視覺上看,圖5(b)和圖5(c)依然比較暗,表明其分別對應的HVS 和Fu2016a 算法對這類嚴重的低照度圖像增強效果不佳.圖5(d)和圖5(f)中樹區域部分則增強得過亮并且亮區和暗區的交界處出現了馬賽克現象(箭頭所指處),這說明Fu2016a和LIME 算法在增強圖像的同時不能很好地保持圖像局部紋理結構.圖5(e)也出現了馬賽克現象,并且圖像整體上有霧化感覺,其主要原因是Ying算法是通過伽馬校正函數來調整圖像中像素點的亮度,難以保證顏色不失真.另外,該算法沒有考慮圖像局部的結構信息,從而導致增強后圖像也有馬賽克現象.圖6(g)整體圖像不夠清晰,這是由于Li 算法在增強的同時做了降噪處理,但在去除噪聲的同時也導致圖像的一些紋理和細節信息被模糊了.圖5(h)則霧化效果更為嚴重,這是由于FFMD 算法只是簡單地用相機響應模型調整圖像的對比度,采用BM3D 降噪時也模糊了圖像的紋理細節.圖5(d)是Fu2016b 算法輸出的圖像,它作為所提出的MLSF-LLIE 算法的待融合圖像.可以發現圖5(d)中存在的過亮和馬賽克現象并沒有最終出現在圖5(i)中,表明MLSF-LLIE 算法的局部結構化融合策略充分利用了其他待融合圖像中更為合理的信息抑制了圖5(d) 中視覺效果不好的內容,所提出的PC和GBVS 映射圖作為加權系數起了一定的作用.從表1 中所列各子圖對應指標值來看,相比較而言,所提出的MLSF-LLIE 算法在BOIEM、BIQME和NIQMC 三個指標上處于中等以上的水平,表明對低照度圖像的對比度進行了適度的增強,而在對圖像質量有著更為全面衡量的IL-NIQE 指標上則是排名第一,顯著優于其他對比算法.這說明MLSFLLIE 算法在主觀感覺上比較符合人眼視覺感受,圖像整體增強效果比較協調.

圖5 各個算法在Tree 圖上增強效果對比Fig.5 Visual comparison of the results obtained with competing algorithms on Tree image

表1 各個對比算法對Tree 圖像增強后的無參考指標值比較Table 1 Performance comparison of each algorithm on Tree image

圖6 展示的是傍晚拍攝的一幅低照度(微光照明條件) Tower 圖像,圖像的前景部分很暗,而背景天空部分則曝光較好.與圖5 中的情況類似,圖6(f)部分區域也出現了明顯的馬賽克現象(如箭頭所指處).為了更加直觀地比較各算法對細節的增強效果,提取圖像局部區域內容進行放大觀察.只有利用MLSF-LLIE 算法所得到的圖6(i)在塔的墻面紋理保持得最為清晰,塔上兩個窗口狀的結構清晰可見,而亮度也比較高,達到圖6(f)的水平,卻沒有顯著的馬賽克現象.圖6(d) (作為MLSF-LLIE 算法的待融合圖像)中較為模糊的信息并未帶入圖6(i)中,再次說明了局部結構化融合機制能將各個待融合中最有利于視覺觀察的信息保留下來,PC 和GBVS映射圖作為加權系數起了一定的作用.總之,MLSFLLIE 算法一方面保持了低照度圖像中曝光好的區域,另一方面在增強圖像低曝光區域時也能很好地保持圖像的紋理細節.從表2 所列指標數據來看,IL-NIQE 指標值排名第一,NIQMC、BIQME 和BOIEM 指標值處于前列,表明對比度進行了適度增強,這充分說明了MLSF-LLIE 算法在處理低照度圖像時的優勢.

表2 各個對比算法對圖像Tower 增強后的無參考指標值Table 2 Performance comparison of each algorithm on Tower image

圖6 各個算法在Tower 圖上增強效果對比Fig.6 Visual comparison of the results obtained with competing algorithms on Tower image

圖7 展示的是各算法在室內低照度圖(光照條件適度良好,因拍攝角度的問題導致圖像質量比較差)上的增強效果.從表3 列出的指標來看,MLSFLLIE 算法IW-PSNR 和IW-SSIM 兩個有參考指標上均獲得第一,在無參考指標IL-NIQE 上排名第二.從圖7 可以看出,MLSF-LLIE 算法在圖像增強、細節保護、色彩保真、避免過度曝光等方面的綜合性能是最佳的,這都得益于選用多個互補性很強的待融合圖像和局部結構化的融合機制將各個待融合圖像中最佳的紋理細節信息保留在最終的融合圖像中.

表3 各個對比算法對圖像Class 增強后的無參考指標值Table 3 Performance comparison of each algorithm on Class image

圖7 各個算法在Class 圖上增強效果對比Fig.7 Visual comparison of the results obtained with competing algorithms on Class image

3.3 噪聲抑制效果對比

一般來說,低照圖像中處于暗區域的噪聲會在增強后的圖像中不同程度地放大,對噪聲不加以抑制會嚴重影響圖像的整體質量.Community 圖像就是一幅在圖像增強后噪聲非常突出的實例.這里采用筆者之前提出的NLE 算法[33]對圖像中的噪聲水平值進行評估,作為抑制噪聲效果的度量.噪聲水平值越低表示圖像中噪聲嚴重程度越低,噪聲抑制效果越好.如圖8 所示,圖8(b)和圖8(c)中仍然存在明顯的噪聲,其對應的噪聲水平值σ分別為4.20 和3.47,表明Fu2016b 和LIME 在所有算法中的抑制噪聲的能力較弱.圖8(d)、圖8(e)和圖8(f)的局部細節放大圖像增強視覺效果比較接近,噪聲水平值σ分別為2.28,1.78 和1.50.其中,所提出MLSF-LLIE 算法噪聲水平值指標最低,且是圖8(d)、圖8(e)和圖8(f)中層次感覺最好的,這說明MLSFLLIE 算法對邊緣的保護能力是最好的,尤其體現在窗戶上端突出部分(邊緣清晰,層次分明).從圖像整體的增強效果來看,圖8(f)是圖8(d)、圖8(e)和圖8(f)中整體對比度最好的.圖8(f)的對比度恰到好處,說明MLSF-LLIE 算法對對比度增強是適度的,沒有出現圖8(c)那樣過度增強的情況.

圖8 各個算法在Community 圖像上抑制噪聲效果對比Fig.8 Comparison of denoising effect of each algorithm on Community image

3.4 總體性能比較

為了全面判定各個LLIE 算法的性能優劣,本文 在以上數據集 (含180 幅圖像)上完成了測試,并計算了各個算法在各個指標上的平均值.數據記錄在表4 和表5 中(排名前兩名用加粗字體表示).由表4 可知,MLSF-LLIE 算法在ILNIQE 指標上排第一,說明本文算法在增強圖像的同時能有效地保護圖像的紋理結構,圖像質量是最優的.而在BOIEM、BIQME 和NIQMC 這三個指標取得中等以上的成績則說明MLSF-LLIE 算法對低照度圖像的對比度進行適度增強.由表5 中可知,MLSFLLIE 算法在2 個有參考指標IW-PSNR 和IWSSIM 上均獲得第一,在無參考的IL-NIQE 指標上也是排名第一.綜上所述,MLSF-LLIE 算法在大量測試數據集上圖像增強能力是最好的.此外,執行效率是度量低照度圖像增強算法性能好壞的另一項重要指標,表6 中列出了各個參與對比算法在90幅有參考低照度圖像上的平均執行時間.其中,HVS、Fu2016a、Ying 和LIME 算法的執行時間比較短,均控制在1 s 以內,但這4 個對比算法對低照度圖像的增強效果往往不夠理想.所提出的MLSFLLIE 算法的執行時間在所有參與對比算法中處于中等水平,由于該算法需要利用Fu2016b 和Ying算法分別生成兩個待融合的適度曝光圖像,以及利用BTF 函數生成1 幅過曝光圖像進行融合,加上圖像融合所需的執行時間,故總執行時間達到了4 s左右,但仍然控制在所有參與對比算法中的中等水平.從表4 和表5 中所列的各種客觀圖像質量評價指標數據來看,MLSF-LLIE 算法的增強能力是最好的.因此,綜合考慮執行時間和增強效果兩個方面,MLSF-LLIE 算法在兩者之間達到了一個可接受的平衡點.

表4 各個算法在90 幅無參考低照度圖像上的無參考指標的平均值Table 4 Average performance of different competing algorithms on 90 low-light images without reference images

表5 各個算法在90 幅有參考低照度圖像上的無參考和有參考指標的平均值Table 5 Average performance of different competing algorithms on 90 low-light images with reference images

表6 各個算法在90 幅有參考低照度圖像上的平均執行時間比較(s)Table 6 The average execution time of the competing algorithms on 90 low-light images with reference images (s)

4 結束語

本文提出了一種稱為MLSF-LLIE 的多圖像局部結構化融合的低照度圖像增強算法,該算法從待融合圖像制備和多圖像融合兩個方面對現有的Ying 算法進行了改進.改進算法可以充分利用中心像素點周圍局部的結構化信息,在增強圖像對比度的同時有效地保持圖像的邊緣和紋理細節,圖像失真程度低.

當然,所提出的MLSF-LLIE 算法也存在一些不足: 1)噪聲抑制問題.目前,完成噪聲抑制的工作普遍是由經典的BM3D 算法來完成[12,19,32].然而,BM3D 等大多數降噪算法在設計的時候均是假設噪聲圖像中的噪聲為加性高斯白噪聲,低照度圖像增強過程伴生的噪聲屬于信號相關噪聲(Signal dependent noise,SDN),并不完全符合高斯分布特性,故現有的降噪算法對此類噪聲處理的效果并不理想,需要專門研究相應的降噪算法以獲得最佳的降噪效果.2)提高執行效率問題.所提出的算法包括制備圖像和圖像融合兩個階段,目前它的執行效率還有待提高.未來可以采用多通道卷積神經網絡(Multi-channel convolutional neural network)構建具有融合功能的神經網絡模型,直接將上述融合操作功能體現在網絡模型的超參數當中.總之,將所提出的MLSF-LLIE 算法中比較耗時的功能模塊用非線性映射能力強大的深度卷積網絡模型化以后,受圖形處理單元(Graphics processing unit,GPU)硬件支持的卷積神經網絡可顯著提高其執行效率.