基于亮度評估技術的特征增強衍生圖融合算法①

韋 超，唐麗娟，陳冠楠

(福建師范大學 醫學光電科學與技術教育部重點實驗室 暨福建省光子技術重點實驗室，福州 350007)

(福建師范大學 福建省科技廳光電傳感應用工程技術研究中心，福州 350007)

1 引言

圖像融合是圖像恢復領域的一個重要技術分支.當環境處于光線不足的情形下，視覺成像設備捕捉到的圖像和視頻往往是低亮度的，且無法精確地獲得其中細節信息.這些低亮度成像環境對實際生活有很大影響，例如，在夜間交通道路上，監控攝像頭無法清晰獲取行人的面部信息和闖紅燈的車牌號.由于相機的動態曝光水平有限，在光線較強時進行拍攝，圖像背光也是低亮度視覺的一種情形.具有亮背景區域和暗前景區域的圖像不易被人眼同時觀察到目標和其他細節信息.因此，衍生圖融合技術的關鍵在于精確提取衍生圖的特有信息，以獲得環境自然性更好，細節恢復更優良，整體視覺更利于人眼觀察的圖片[1].

衍生圖融合算法有效地解決了實際生活中相機動態范圍小的缺陷，提高了圖像的清晰度，并能夠保留圖像很好曝光率區域的同時，精確地恢復低亮度區域信息.目前，在一些最新的圖像增強與融合的論文中使用了Retinex 相關理論[2]，該理論可將圖像看反射率和光照兩部分.基于Retinex 理論的早期實驗，例如單尺度Retinex (Single-Scale Retinex，SSR)[3]和多尺度Retinex(Multi-Scale Retinex，MSR)[4]，其把反射率評估為增強結果.最近，具有色彩修復的多尺度Retinex (Multi-Scale Retinex with Color Restoration，MSRCR)[5]的出現可以有效地減少過度亮度增強并恢復色彩保真度.文獻[6]提出一種快速算法來對倒置的低亮度圖像進行去霧和增強.文獻[7]提出了一種對于同時反射率和光照估計的加權變分模型(Simultaneous Reflectance and Illumination Estimation，SRIE)可合理地調整亮度評估以獲得增強的圖像.文獻[8]提出一種保持自然性增強算法(Naturalness-Preserving Enhancement，NPE)使亮度分布不均勻圖像可通過使用亮通道和雙對數變換來評估和調整光照.文獻[9]提出了一種基于照明映射評估的低亮度圖像增強方法(Low-light Image Enhancement，LIME)設計了一種結構感知平滑模型，以實現精準的照明評估和極好的亮度一致性.文獻[10]提出了一種多偏差融合方法(Multi-deviation Fusion method，MF)融合了初始評估的照明映射的多個偏差以優化照明映射.盡管這些方法對低亮度圖像的不同區域像素都起到一定的恢復效果，但仍無法恢復具有豐富紋理細節圖像的真實感.

針對上述提出的一些先進方法的不足，本文提出了一種基于亮度評估技術的特征增強衍生圖融合算法，能夠有效地解決融合結果可能是自然但不明顯，或者其細節明顯但整體亮度太亮的問題.在實際應用中，主要工作包括：該方法可處理任何單一低亮度圖像，無需同一場景的多個不同亮度鏡頭圖像[11]；使用一種新穎的亮度增強模型來獲得自然性更好圖像，和細節清晰但亮度曝光過度的圖像；再通過使用改進的衍生圖融合算法來融合不同特征的兩個衍生圖，可保留自然性和細節優良區域.

2 曝光率映射

為了保留衍生圖中豐富的結構信息和去除紋理邊緣的噪聲，在使用非線性函數模型增強之前，先獲取圖像的曝光率映射.本文選用亮度評估技術來獲得圖像曝光率映射，亮度評估技術總體框架如下：

1) 初始化亮度評估映射.參考顏色不變性方法中的一種方法，通過尋找輸入圖像L(x)中3 個顏色通道(R，G，B)的最大值(Max-RGB)作為初始化亮度評估映射[12]，x表示圖像像素值，表達如下：

2) 權值矩陣設計.將初始化亮度評估映射大小縮小為原來的1/2，對縮小之后的初始化亮度評估映射分別進行行差分運算 ?h和列差分運算 ?v.獲取 ?h和 ?v之后，再分別對其進行相關濾波操作[13]，滑動相關核w(x)為[1，1，1，1，1]和[1，1，1，1，1]T.將差分運算結果與相關濾波操作結果進行對應相乘再取其倒數得權值矩陣，表達如下：

3) 亮度評估映射.步驟1)得到的初始化亮度評估映射可以稍微地增強圖像的局部一致性，但是增強結果是具有盲目結構性的，無法很好恢復高動態范圍獲取的圖像結構.接下來，在其基礎上我們使用了一個卓越的優化算數方程來同時保留圖像的整體結構和平滑紋理細節.將步驟2) 得到的Wd(x)和步驟1) 得到的分別與亮度評估映射T(x)組合得‖Wd(x)·T(x)‖l在兩個表達式之間我們使用系數a來平衡兩者的關系.‖ ·‖F表示Frobenius 范數[14]，即矩陣中各項元素的絕對值平方的總和；‖·‖l表示關于Wd(x)與T(x)之間的運算，運算準則為：其中 δ表示一個非常小的常數為了避免表達式中分母為零，h和v分別表示差分運算的行操作與列操作.一個表達式用來控制圖像的整體結構，另一個表達式用來控制圖像的紋理細節，結合兩個表達式，得亮度評估映射的表達式為：

4) 曝光率映射.根據視網膜圖像增強[15]，在源圖像的暗區域分配一個較大的曝光率，而在圖像的亮區域分配一個較小的曝光率.再模擬人腦皮層具有自動調節亮度的功能，將得到的結果進行約束來獲取實際應用的曝光率映射，常數u用來避免曝光率映射成為無窮大，表達如下：

3 改進的卡方分布函數模型

為了優化圖像融合過程中源圖像的質量情況，一種改進的卡方分布函數模型被用于本文方法中.基于改進的卡方分布函數模型步驟如下：

1) 為了更好地獲取不同優良特征的衍生圖，將低亮度圖像與使用我們模型獲取的亮度增強圖像進行對比并獲取兩者的直方圖，通過觀察兩者亮度的變化情況來獲取一種非線性的對應關系，如圖1所示.我們使用非線性函數模型來表示低亮度圖像變換到亮度增強圖像的過程，即：

其中，Ri(x)表 示低亮度圖像，Ro(x)表示亮度增強圖像，k表示曝光率映射，I表示亮度增強的非線性函數模型.

圖1 衍生圖增強

2) 通過觀察和分析卡方分布概率密度函數[16]和其曲線的變化情況，當調節函數中的參數達到一定值時，曲線值隨著x的增大，先增大后減少，適合于圖像像素值在較小時通過函數來增大，較大時而得到減小.并且為了更好地實現增強圖像，我們在其基礎上提出了一種改進的卡方分布函數，即：

其中，a表示在x＞0情況下的模型參數.因為在模型中將帶入曝光率k的值，且k＞0，因此我們主要考慮x＞0的情況.

3) 通過將曝光率映射K(x)替換該函數的自變量并結合輸入圖像來構成改進的卡方分布函數模型.再對參數a進行調節來獲得兩幅特征不同的衍生圖，即：

4 衍生圖融合框架

近年來，利用基于金字塔融合的方法[17]來對低亮度圖像進行亮度增強，將權值與輸入圖像相乘求和得到的融合效果并不理想.當控制權值映射不正確時，生成的融合圖像容易出現亮度和結構畸變.由于圖像中紋理細節較多的區域處于低曝光或高曝光狀態時，圖像中一些重要的信息無法觀察和分析.針對上述問題，我們通過選擇邊緣檢測[18]、對比度拉伸[19]和亮度評估來設計一種新的權重映射來進行融合增強.

4.1 權值映射設計

構造權值映射通過3 種度量方法.1) 邊緣檢測.邊緣檢測中的Canny 算子是最有效的邊緣檢測算法.Canny 邊緣檢測算法不是簡單的模板卷積，而是利用梯度方向和雙閾值方法檢測邊緣點.2) 對比度拉伸.對比度拉伸通過采用分段線性變換函數來擴展圖像灰度級的動態范圍.從對比度拉伸圖像中可以看出，亮度明亮區域的對比度拉伸較寬，亮度暗區域的對比度拉伸較窄.3) 亮度評估.亮度評估操作可以有效地進行局部平滑，對增強圖像中亮度過亮或過暗的區域及其周圍進行評估，從而減少亮度恢復異常.

通過對衍生圖進行邊緣檢測WED(x,y)、對比度拉伸WCS(x,y)和 亮度評估WBE(x,y)的觀察和分析，發現各個指標可分別觀察到亮度增強圖像中的不同細節成分.結合金字塔融合增強理論，將3 個測量指標相乘得到圖像融合參數，即圖像融合的權值映射：

然后對圖像融合的權值映射(N=2)標準化，即：

利用上述權值映射，在圖像融合過程中可有效對過曝光區域進行低權值分配，并對低亮度區域進行高權值分配.為了解決在融合過程中由于圖像亮度差異導致的融合結果不自然的問題，我們引入金字塔融合來獲取更好的融合圖像，以有效減少融合過程中局部連接處變形、信息丟失等異常局部區域.

4.2 改進的金字塔融合

首先，將兩幅亮度增強的衍生圖放于拉普拉斯金字塔中，提取圖像特征，并分解成不同分辨率的多尺度金字塔圖像序列.序列的區域大小依次改變為前一層圖像大小的1/4.然后，將優化后的標準權值映射分解為高斯金字塔序列再將其與拉普拉斯金字塔的多尺度圖像平滑組合得金字塔融合序列Rl(x,y)，表達式如下：

其中，l表示金字塔序列的層數，它的值設置為7，k表示融合圖像的數量，k的值為2.

最終的融合圖像Rfinal通過以下操作實現，即：

其中Ud，表示帶有系數為d=2l-1的上采樣操作.本文算法結構如圖2所示.

5 實驗結果分析

為了驗證本文方法的有效性和獲取更好的感知視覺效果，本文使用了6 種近幾年提出的亮度增強算法：多尺度Retinex (Multiscale Retinex，MSRCR)算法、基于去霧增強技術(Dehazing-based，Dong)算法、保留圖像自然性增強技術(Naturalness Preserved Enhancement，NPE)算法、多偏差融合(Multi-deviation Fusion，MF)算法、同時使用反射和照明評估(Simultaneous Reflection and Illumination Estimation，SRIE)算法和基于亮度評估增強(illumination estimation-based method，LIME)算法作為實驗對比算法.同時分別計算3 組客觀評價指標：視覺信息保真度(Visual Information Fidelity，VIF)、亮度誤差(Lightness Order Error，LOE)以及圖像互信息(Mutual Information，MI)來對融合圖像質量進行評估.對于視覺信息保真度和圖像互信息，值越大，表明融合效果越好；而對于亮度誤差，值越小，表明效果越好.選取低亮度圖像Tower 和Plaza 為實驗數據集，其中，圖3和圖4為源圖像與不同算法實驗結果對比.實驗環境為：Windows 10，Intel Corel CPU 3.00 GHz，RAM16 GB，Matlab R2015b.

圖2 本文算法流程

圖3 Tower 增強對比實驗結果

圖4 Plaza 增強對比實驗結果

在表1所示的客觀評價指標數值中，本文方法在LOE 和MI 兩項指標上，全部優于近年來的新方法.雖然從表1中獲得的VIF 指標不是最高的，但是通過觀察實驗圖像可得，本文方法獲得的增強圖像已經可以獲得很好的視覺信息.并且結合數據和實驗圖像發現，如方法LIME，當VIF 值越大時，LOE 值伴隨著也會增大，觀察該方法獲得的增強圖像發生了亮度失真.

在本測試中，我們首先使用帶有局部曝光率映射的非線性函數對低光圖像進行適當的亮度增強.當本文方法中參數a的值滿足一定條件時，函數值隨自變量的增大而先增大后減小.因此，采用該方法合理地增強低亮度區域亮度和抑制高亮度區域亮度.然后對該像素值周圍亮度分布進行評估，并根據曝光率映射進行準確的亮度增強.由于亮度增強方法導致整體視覺效果不理想，因此通過調整融合參數，得到了具有不同優良特征信息的兩幅衍生圖.

表1 Tower 和Plaza 的增強圖像客觀評價指標

在融合過程中，我們設計了權值映射來整合兩幅衍生圖的優良特征.在權值映射設計中，我們加入了對比度拉伸來增強融合結果的前景和背景區域的局部對比度.同時，為了避免融合結果的邊緣噪聲對圖像造成嚴重的噪聲，我們在權值映射中加入了邊緣檢測來進行優化.為了更好的評價和調整融合后圖像的亮度分布，我們在權值映射中加入了亮度評估，使融合后的圖像更具有自然性.最后，采用改進的權值映射的金字塔融合方法，得到的融合圖像能夠更好地突出圖像細節，使整體圖像在視覺上更具有自然性并且信息失真更少.

6 結語

本文針對金字塔融合方法提出一種有效恢復圖像亮度和保留圖像自然性的基于亮度評估技術的特征增強衍生圖融合算法.首先對低亮度圖像像素值使用亮度評估技術，結合Retinex 理論和大腦皮層調節原理，得到曝光率映射.然后引進了基于改進的卡方分布函數模型對單一低亮度圖像進行亮度與細節的增強，從而獲得兩幅不同特征性能的衍生圖來進行圖像融合.最后通過改進的金字塔融合方法來獲得清晰的融合圖像.實驗結果表明，通過結合圖像的自然性，細節恢復程度，亮度扭曲情況考慮，獲得的融合圖像在圖像邊緣和輪廓細節得到了較好的保留，其融合效果在視覺感知方面優于其他現有的幾種方法，這意味著本文圖像融合算法具有可行性和一定的優越性.