MIRNet-Plus:基于豐富特征學(xué)習(xí)的低光圖像增強(qiáng)改進(jìn)方法

羅 林,余聯(lián)想,鄭明魁,2

1(福州大學(xué) 先進(jìn)制造學(xué)院,福建 泉州 362200)

2(福州大學(xué) 物理與信息工程學(xué)院,福州 350108)

0 引 言

從低光圖像中恢復(fù)出高質(zhì)量的明亮圖像是業(yè)界正在攻克的問題,大量的應(yīng)用場景需要有效的低光圖像恢復(fù),如計算攝影、監(jiān)控、自動駕駛汽車和遙感等領(lǐng)域.近年來,以卷積神經(jīng)網(wǎng)絡(luò)為主導(dǎo)的圖像恢復(fù)技術(shù)取得了重大進(jìn)展.在圖像分類、目標(biāo)檢測、3D視覺以及軍事探測等高級視覺任務(wù)的預(yù)處理中起著十分重要的作用.一般說來,圖像增強(qiáng)可以被看作是對圖像進(jìn)行恢復(fù)的一種任務(wù),其目的是對低質(zhì)量圖像進(jìn)行增強(qiáng).

近年來,基于深度學(xué)習(xí)的圖像增強(qiáng)方法顯示出了很強(qiáng)的優(yōu)越性,在推理上時間上超過了傳統(tǒng)的基于先驗(yàn)的方法.特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的出現(xiàn)幾乎主導(dǎo)了目前所有的圖像增強(qiáng)方法.

現(xiàn)有的CNN圖像增強(qiáng)方法通常遵循3種架構(gòu)設(shè)計:1)編碼器-解碼器結(jié)構(gòu);2)高分辨率(單尺度)特征處理;3)多尺度跨分辨率結(jié)構(gòu).在編碼器-解碼器模型中[1-4],首先將輸入圖像逐步映射到高維空間(低分辨率)中表示,然后對高維特征進(jìn)行逐步解碼,反向映射到原始分辨率.通過這種方法,模型能夠充分獲取圖像中的背景信息和語義信息,但是這種方法會導(dǎo)致空間信息細(xì)節(jié)丟失,使得在后期很難恢復(fù),從而影響圖像恢復(fù)質(zhì)量.在第2種方法中,高分辨率(單尺度)[5,6]不采用任何下采樣操作,因此可以很好的恢復(fù)空間細(xì)節(jié).但是這種方法網(wǎng)絡(luò)的感知域有限,對于上下文信息缺乏足夠的理解.為了克服上述兩種方法的缺點(diǎn),在整個網(wǎng)絡(luò)中保持空間精確的高分辨率表示,并從低分辨率表示中接收互補(bǔ)的上下文信息成為一種新型的做法.多尺度跨分辨率結(jié)構(gòu)[7-9]被提出,這種結(jié)構(gòu)的網(wǎng)絡(luò)克服了上述兩種方法的缺點(diǎn),網(wǎng)絡(luò)能夠同時結(jié)合空間細(xì)節(jié)信息以及上下文信息,對網(wǎng)絡(luò)的特征信息進(jìn)行足夠的探索,從而獲得更好的結(jié)果.

Huang等人[7]首次在醫(yī)學(xué)圖像分割領(lǐng)域提出了多尺度的信息交換,取得了非常顯著的成就.Zamir等人[8]在2020年ECCV上提出了MIRNet,采用多尺度跨分辨率的信息交換來實(shí)現(xiàn)圖像增強(qiáng),在當(dāng)時取得了最領(lǐng)先的成績.但是這種信息交換是不徹底的,依然遺漏了很多上下文信息以及空間細(xì)節(jié)信息.

基于Zamir等人[8]的工作,Fan等人[4]使用他們提出的SKFF以及DAU模塊提出了HWMNet,同樣得到了不錯的結(jié)果.同時Zamir等人[9]在2022年的TPAMI期刊上進(jìn)一步更新了他們的成果,提出MIRNet-V2,優(yōu)化了原來的網(wǎng)絡(luò).但是上述的方法并沒有解決跨分辨率信息交換有遺漏的問題,網(wǎng)絡(luò)仍需進(jìn)一步改進(jìn).

本方法采用的技術(shù)路線是多尺度跨分辨率網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)結(jié)構(gòu)能夠在充分探索圖像上下文信息的同時保留足夠的空間細(xì)節(jié)信息,從而實(shí)現(xiàn)更好的圖像增強(qiáng)效果.本文的主要貢獻(xiàn)可以總結(jié)為以下幾個部分:

1)采用Double SKFF,增強(qiáng)網(wǎng)絡(luò)中間層對不同分辨率的信息交流能力,獲得更多的上下文信息,增強(qiáng)網(wǎng)絡(luò)空間信息以及上下文信息聚合能力.

2)設(shè)計了Depthwise Attention Module,用來共享特征張量中的信息,補(bǔ)充原有特征,增強(qiáng)網(wǎng)絡(luò)中特征表現(xiàn)能力.

3)解決多顏色空間神經(jīng)修飾模塊不能進(jìn)行多批次訓(xùn)練問題,并將其用于主干網(wǎng)絡(luò)之后,提升網(wǎng)絡(luò)健壯性.

4)構(gòu)建了一個端到端的低光圖像增強(qiáng)系統(tǒng).

1 相關(guān)工作

近年來,隨著計算機(jī)視覺領(lǐng)域的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)顯示出了不可替代的優(yōu)越性能,越來越多的學(xué)者對此展開了深入研究.

低光圖像增強(qiáng)一直是計算機(jī)視覺領(lǐng)域中的基礎(chǔ)任務(wù),對于各方面的行業(yè)發(fā)展具有重要意義.許多學(xué)者注意到卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性能,并將其用于低光圖像增強(qiáng)領(lǐng)域,涌現(xiàn)出了很多優(yōu)秀的方法.

Chen等人[1]提出使用全卷積網(wǎng)絡(luò)的端到端訓(xùn)練,對低光圖像進(jìn)行增強(qiáng),取代了許多傳統(tǒng)的圖像處理方法.Zhang等人[2]利用Retinex 理論與CNN,將圖像分解為兩個組件,一個組件(照明)負(fù)責(zé)調(diào)節(jié)光線,而另一個組件(反射率)負(fù)責(zé)去除退化,取得了不錯的結(jié)果.Wang等人[10]同樣將Retinex理論與CNN相結(jié)合,構(gòu)造了分解模塊、注意力降噪模塊和亮度調(diào)整模塊來對低光圖像進(jìn)行增強(qiáng).這兩種方法雖然取得了一定程度上比較好的結(jié)果,但是這些方法對于圖像特征的探索程度還是會欠缺很多.

在使用CNN進(jìn)行圖像增強(qiáng)時,許多學(xué)者采用的網(wǎng)絡(luò)架構(gòu)是編碼器-解碼器模型,這種網(wǎng)絡(luò)模型容易導(dǎo)致不同分辨率的上下文信息以及空間信息出現(xiàn)缺失,不利于對圖像進(jìn)行恢復(fù)和增強(qiáng).例如工作CURL[3]和HWMNet[4].CURL[3]雖然提出了多顏色空間神經(jīng)修飾模塊,但是由于網(wǎng)絡(luò)結(jié)構(gòu)的限制,在特征編碼解碼的過程中,缺乏對上下文信息和空間細(xì)節(jié)信息的關(guān)注,因此得到的結(jié)果并不足夠理想,同時,在訓(xùn)練過程中,也只能使用單張圖片進(jìn)行訓(xùn)練而不能多張一起訓(xùn)練.HWMNet[4]的工作提出在網(wǎng)絡(luò)中使用半小波注意塊來豐富小波域的特征,取得了不錯的結(jié)果,但是網(wǎng)絡(luò)仍然缺乏對不同分辨率之間特征信息交流的關(guān)注.

低分辨率上可以獲取到可靠的語義信息但缺乏空間信息,而高分辨率則相反,能夠獲得精確的空間信息但是上下文信息不太健壯.MIRNet[8]使用單獨(dú)的CNN網(wǎng)絡(luò),探索了在獲取更加豐富的特征對圖像增強(qiáng)任務(wù)的影響,同時,他們還提出了對不同分辨率的特征信息之間進(jìn)行交換,關(guān)注不同分辨率之間的上下文信息以及空間信息.這種做法取得了非常不錯的效果,但是他們的信息交換不夠徹底,對上下文語義信息和空間信息仍然有一定程度的遺漏.

針對上述方法的缺點(diǎn),本文提出了改進(jìn)型的方法MIRNet Plus,通過增強(qiáng)網(wǎng)絡(luò)中間層對不同分辨率的信息交流能力,補(bǔ)充原有的特征信息,實(shí)現(xiàn)了更加細(xì)致的不同分辨率的特征信息交流,得到了更加準(zhǔn)確的低光圖像增強(qiáng)結(jié)果.通過實(shí)驗(yàn),本文提出的方法優(yōu)于其他基于MIRNet進(jìn)行改進(jìn)的方法.

2 改進(jìn)策略

本文提出的方法改進(jìn)主要是對Zamir等人[8]在2020年ECCV上提出的MIRNet的改進(jìn),本文將其稱之為MIRNet Plus.本文提出的方法改進(jìn)如下所述.

本文的網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1所示,圖2展示了本文所使用的多顏色空間神經(jīng)修飾塊.

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure

圖2 多顏色空間神經(jīng)修飾塊示意圖[3]Fig.2 Schematic diagram of multi-color spatial neural modification block[3]

2.1 Double SKFF

本方法采用了Double SKFF模塊來獲取更加豐富的上下文信息以及空間信息.Zamir等人[8]提出跨分辨率信息交換,同時捕獲上下文信息以及空間信息,但是這種捕獲是不徹底的,為了獲得更加健壯的上下文信息同時實(shí)現(xiàn)更加充分的空間細(xì)節(jié)信息獲取,本文采用雙重選擇融合交換和殘差機(jī)制實(shí)現(xiàn)這一目的.單層的SKFF能夠?qū)ι舷挛男畔⒑涂臻g信息進(jìn)行一定程度上的交換,但是交換的特征信息不夠徹底、精煉.

SKFF的網(wǎng)絡(luò)[8]的示意圖如圖3所示,該模塊能夠?qū)碜远鄠€卷積流的特征進(jìn)行操作,并基于自我關(guān)注進(jìn)行聚合.網(wǎng)絡(luò)的具體細(xì)節(jié)見[8].在融合部分,模塊接收3個并行的特征輸入,3個特征的分辨率并不相同,因此網(wǎng)絡(luò)首先采用元素求和來組合這些不同分辨率的特征L=L1+L2+L3,然后在L∈RH×W×C的空間尺度上對其進(jìn)行全局均值池化(GAP)來計算通道信息s∈R1×1×C,接下來使用通道下采樣卷積操作來生成一個緊湊的特征表示z∈R1×1×r,其中r=C/8.最后,特征通過3個并行的通道上采樣卷積層得到3個特征v1,v2,v3,其大小為1×1×C.在選擇部分,首先對v1,v2,v3使用softmax激活函數(shù),得到s1,s2,s3,然后自適應(yīng)的分別與L1,L2,L3進(jìn)行特征映射,特征重新校準(zhǔn)與聚合定義為U=s1·L1+s2·L2+s3·L3.

圖3 SKFF網(wǎng)絡(luò)示意圖[8]Fig.3 Schematic diagram of SKFF network[8]

2.2 DWM

Zamir等人[8]認(rèn)為在使用SKFF模塊獲取上下文信息與空間信息的同時,還需要對張量中的空間和通道維度信息進(jìn)行共享,因此設(shè)計了DAU模塊,其網(wǎng)絡(luò)示意圖如圖4所示,該模塊的通道注意力與空間注意力機(jī)制相互獨(dú)立.

圖4 DAU模塊網(wǎng)絡(luò)示意圖[8]Fig.4 Schematic diagram of the DAU module network[8]

DAU模塊對輸入M首先采用卷積、ReLU激活、卷積操作得到輸入雙重注意力機(jī)制的特征.在空間注意力(Spatial Attention)網(wǎng)絡(luò)中,對特征采用全局均值池化與全局最大值池化,之后再將池化后的特征拼接起來,經(jīng)過卷積之后使用sigmoid激活,然后與輸入空間注意力網(wǎng)絡(luò)的原特征相乘,得到空間注意力映射特征圖.而對于輸入通道注意力(Channel Attention)的特征,首先采用全局均值池化,再進(jìn)行卷積、ReLU激活、卷積、sigmoid激活,再與輸入通道注意力機(jī)制之前的特征相乘,得到通道注意力映射特征圖.將空間注意力映射特征圖與通道注意力映射特征圖拼接之后經(jīng)過卷積,再與輸入M相加,即可得到DAU最后的輸出.

在DAU模塊中,輸入特征首先要經(jīng)過卷積、激活、卷積操作,之后才會對其使用雙重注意力機(jī)制,且通道注意力與空間注意力相互獨(dú)立,這種操作破壞了空間信息與通道信息之間的聯(lián)系,不利于特征信息的空間信息與通道信息共享.通道信息中也有空間信息,二者并不是相互獨(dú)立的,因此本方法提出DWM(Depthwise Attention Module),在同一支干網(wǎng)絡(luò)上使用通道注意力機(jī)制與空間注意力機(jī)制,共享張量中的空間和通道維度信息.本文提出的DWM網(wǎng)絡(luò)示意圖如圖5所示.

圖5 DWM示意圖Fig.5 Schematic diagram of DWM

在DWM中,輸入特征需要經(jīng)過3個部分運(yùn)算,分別是Depthwise(DW)卷積、最大池化、均值池化.DW卷積網(wǎng)絡(luò)示意圖如圖6所示,DW卷積分為兩部分,第1個部分是以卷積核為3的卷積,用來提取特征信息,第2部分為以卷積核為1卷積,用來對提取的特征張量進(jìn)行維度匹配,卷積操作完成之后,都會進(jìn)行BatchNorm和使用ReLU進(jìn)行激活.在使用DW卷積的同時,本文也對輸入特征使用GMP(Global Max Pooling)與GAP(Global Average Pooling)操作,提取原有特征中的主要信息,之后與DW卷積得到的特征相融合.之后融合特征首先被輸入到通道注意網(wǎng)路中,生成通道注意特征映射圖,通道注意特征映射圖與原模塊輸入特征相加,輸入空間注意網(wǎng)絡(luò),生成空間注意特征映射圖.通過這種操作,通道注意力特征圖與空間注意力特征圖相互作用,特征信息與原有特征之間相乘進(jìn)行自適應(yīng)的特征修正,在特征輸出之前,首先要對進(jìn)行層歸一化再與輸入特征相加,產(chǎn)生最后的輸出.通過上述設(shè)計,網(wǎng)絡(luò)可以達(dá)到共享空間信息與通道信息,對DAU模塊進(jìn)行補(bǔ)充的目的.

圖6 DW卷積網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 DW convolution network structure

2.3 多顏色空間神經(jīng)修飾塊

為了提升網(wǎng)絡(luò)的健壯性,同時調(diào)整圖像的全局屬性,如顏色、飽和度和亮度等,本方法同時引入了Moran等人[3]提出的多顏色空間神經(jīng)修飾塊.將已經(jīng)估計出的增強(qiáng)圖像,依次對其再次處理,在Lab、RGB、HSV 3種顏色空間中進(jìn)行聯(lián)合訓(xùn)練,進(jìn)一步增強(qiáng)圖像的質(zhì)量.Lab顏色空間具有感知均勻性,網(wǎng)絡(luò)在該顏色空間中能夠?qū)W習(xí)到更多的亮度信息以及色彩平衡信息.RGB顏色空間通過3個顏色通道的顏色強(qiáng)度來對不同顏色進(jìn)行表示,在該顏色空間中學(xué)習(xí),能夠提升網(wǎng)絡(luò)對顏色深度的敏感程度.HSV顏色空間能夠更加直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗亮度,在該顏色空間中學(xué)習(xí),網(wǎng)絡(luò)能夠?qū)W習(xí)到顏色的定位以及圖像明度、飽和度等信息.

需要說明的是,本方法僅僅使用了Moran等人[3]提出的多顏色空間神經(jīng)修飾模塊,而沒有使用他們提出的多顏色空間損失函數(shù).本方法依然使用工作[11]提出的Charbonnier損失函數(shù),因?yàn)槭褂肅harbonnier損失函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)能夠?qū)σ恍┊惓Ｖ涤懈玫奶幚?同時也能夠提升網(wǎng)絡(luò)的收斂速度與魯棒性.而采用其他的損失函數(shù)會造成生成的圖像過于平滑,圖像缺乏真實(shí)感,在感官上會給人造成一種不真實(shí)的感覺.損失函數(shù)如下所示:

(1)

3 實(shí)驗(yàn)仿真與測試

3.1 實(shí)驗(yàn)細(xì)節(jié)

本文采用端到端的訓(xùn)練方式,不需要對網(wǎng)絡(luò)中任何模型進(jìn)行預(yù)訓(xùn)練,在實(shí)驗(yàn)過程中,網(wǎng)絡(luò)包含3個RPG模塊,每個RPG模塊包含2兩個MRB模塊,每個MRB模塊包含64,128,256這3個維度的特征信息.訓(xùn)練過程中使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.00016,采用余弦退火策略來穩(wěn)定的下降初始學(xué)習(xí)率,最小值設(shè)定為0.000001,總共對模型進(jìn)行70次迭代.

3.2 實(shí)驗(yàn)細(xì)節(jié)

本文在MIT-Adobe FiveK數(shù)據(jù)集上驗(yàn)證了本文提出的方法,該數(shù)據(jù)集包含5000張用單反相機(jī)在不同光照條件下拍攝的各種室內(nèi)和室外場景的圖像.所有圖像的色調(diào)屬性由5名不同的訓(xùn)練有素的攝影師(被稱為專家A～E)手動調(diào)整.與[3,4,8,9]一樣,本文將專家C的增強(qiáng)圖像視為真實(shí)值.此外,前4500張圖像用于訓(xùn)練,后500張用于測試.訓(xùn)練中圖像的分辨率大小為256×256.

3.3 評價指標(biāo)

本文采用峰值信噪比PSNR、結(jié)構(gòu)相似性SSIM、平均亮度AB和視覺信息保真度VIF來對本文提出的模型進(jìn)行評價.

PSNR:峰值信噪比,圖像處理領(lǐng)域常用評價標(biāo)準(zhǔn),數(shù)值越大,圖像失真越小.

SSIM:結(jié)構(gòu)相似性,兩幅圖像相似度評價指標(biāo),分別從亮度、對比度和結(jié)構(gòu)3方面度量,數(shù)值越大,兩幅圖像越相似.

AB:圖像平均亮度,用來衡量圖像的明亮程度.

VIF:視覺保真度,是一種結(jié)合自然圖像統(tǒng)計模型、圖像失真模型和人眼視覺系統(tǒng)模型的圖像質(zhì)量評估參數(shù),數(shù)值越高,圖像質(zhì)量越好.

3.4 實(shí)驗(yàn)分析

在表1中,將以文獻(xiàn)[8]的工作為基線所發(fā)展出來的方法用粗體標(biāo)識.本方法在MIT-Adobe FiveK[12]所得到的結(jié)果如表1所示,最優(yōu)的PSNR、SSIM、VIF結(jié)果使用粗體標(biāo)出,其中測試所用的500張圖片的真實(shí)情況平均亮度AB為128.141.

表1 在MIT-Adobe FiveK上實(shí)驗(yàn)數(shù)據(jù)表Table1 Experimental data on MIT-Adobe FiveK dataset

通過表 1 的實(shí)驗(yàn)結(jié)果可以看出,本文提出的方法在與其他以文獻(xiàn)[8]為基線發(fā)展的方法對比時,在PSNR上取得了最好的結(jié)果.根據(jù)方法[8]開源的官方模型測試結(jié)果,實(shí)測出其SSIM為0.887,與文獻(xiàn)中的0.925不一致.

圖7顯示了本文提出的方法與其他的方法在MIT-Adobe FiveK數(shù)據(jù)集上的可視化定性對比結(jié)果.在圖7中,第1列圖像為輸入圖像,第2列圖像為真實(shí)圖像,接下來分別是表1中方法CURL[3]、MIRNet[8]、MIRNet-V2[9]、MIRNet-Plus(本文方法)對輸入圖像的處理結(jié)果,局部放大圖像位于圖像右上角.從圖7中的結(jié)果可以看出,CURL對暗光圖像的增強(qiáng)效果與其他方法相比具有較大差距,增強(qiáng)效果遠(yuǎn)遠(yuǎn)弱于其他方法.本文提出的方法與MIRNet和MIRNet-V2相比,更接近原始真實(shí)圖像,色彩更加自然、柔和.對第1張人像圖像進(jìn)行處理時,MIRNet與MIRNet-V2的圖像存在對人臉過度增強(qiáng)的問題,與真實(shí)值相比,人臉膚色明顯泛白;在對第2張車輛圖像處理時,MIRNet在引擎蓋上偽造出了并不存在的陰影,MIRNet-V2的圖像顏色存在曝光現(xiàn)象,與真實(shí)圖像顏色有著一定差異;在對第3張圖像進(jìn)行處理時,MIRNet對于椅子上存在的干擾并不能很好的處理,使得出現(xiàn)了大片陰影.

圖7 在MIT-Adobe FiveK[12]數(shù)據(jù)集上的圖像增強(qiáng)視覺效果對比Fig.7 Comparison of image enhancement visual effects on the MIT-Adobe FiveK[12]dataset

本文提出的MIRNet-Plus方法能夠有效增強(qiáng)低光圖像的顯示效果,圖像的亮度和噪聲抑制方面都能得到有效提升,同時,本方法的可視化結(jié)果明顯更加接近真實(shí)圖像,顯示更加清晰,圖像紋理更加自然、柔和.

4 總 結(jié)

針對低光圖像增強(qiáng)任務(wù),本文在分析MIRNet方法以及相關(guān)衍生方法的缺陷基礎(chǔ)上進(jìn)一步提出了MIRNet Plus網(wǎng)絡(luò).MIRNet Plus通過采用Double SKFF、Depthwise Attention Module以及多顏色空間神經(jīng)修飾模塊,通過充分交換不同分辨率的特征信息,實(shí)現(xiàn)了更好低光圖像增強(qiáng)效果.本文在MIT-Adobe FiveK數(shù)據(jù)集上與最近的其他突出算法進(jìn)行了比較,實(shí)驗(yàn)結(jié)果表明本文提出的方法在PSNR和VIF上達(dá)到了更好的結(jié)果,明顯優(yōu)于其他的方法,同時,在直觀上可視化比較實(shí)驗(yàn)中,MIRNet Plus也能夠輸出更加接近真實(shí)圖像的結(jié)果,圖像更加真實(shí),這說明了MIRNet Plus的有效性.