基于生成對抗網(wǎng)絡(luò)的圖像增強與修復(fù)技術(shù)研究

摘要：在低光照與霧天等特殊條件下，圖像采集設(shè)備捕捉的圖像亮度相對較低，容易出現(xiàn)特征遺漏、信息呈現(xiàn)不足等問題，為解決這一問題，本文提出一種基于生成對抗網(wǎng)絡(luò)的圖像增強方法，利用變分PDE中的TV模型對圖像進(jìn)行進(jìn)一步修復(fù)。仿真實驗結(jié)果顯示，本文方法可明顯提高圖像對比度、可視化效果與質(zhì)量，且圖像修復(fù)速度較快，沒有明顯修復(fù)痕跡，有一定的應(yīng)用與推廣價值。

關(guān)鍵詞：生成對抗網(wǎng)絡(luò)；圖像增強；圖像修復(fù)；變分PDE

引言

近年來，圖像處理技術(shù)的應(yīng)用越來越多，不過在低光照與霧天等特殊條件下，圖像往往存在清晰度低、噪聲多、對比度差等諸多問題，圖像處理技術(shù)面臨挑戰(zhàn)[1]。在此背景下，圖像增強技術(shù)得以出現(xiàn)，其目的在于對圖像細(xì)節(jié)進(jìn)行合理與有效調(diào)整，提高原始圖像對比度及清晰度，進(jìn)而實現(xiàn)圖像可視效果的優(yōu)化。以交通監(jiān)控領(lǐng)域為例，對于晚間或雨雪、大霧等天氣，攝像機圖像質(zhì)量會明顯降低，有價值信息的提取難度大幅增加，利用圖像增強技術(shù)，能夠?qū)D像細(xì)節(jié)及對比度進(jìn)行調(diào)整，進(jìn)而為智能交通系統(tǒng)提供重要幫助，使其更加準(zhǔn)確地將車輛與行人識別出來，對道路安全性的提升以及交通事故的預(yù)防均具有不容忽視的積極意義。

盡管光照增強領(lǐng)域目前已經(jīng)取得一定的經(jīng)驗，但當(dāng)前方法對增強后圖片中噪聲的影響有所忽視，且對圖片的受損情況不夠重視，圖像質(zhì)量尚有較大提升空間。基于此，本文提出基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）[2]的圖像增強方法，以實現(xiàn)光照增強目標(biāo)，進(jìn)一步配合變分PDE[3]中的TV模型[4]執(zhí)行圖像修復(fù)任務(wù)，將圖像噪聲去除，處理圖像受損問題，為圖像質(zhì)量提供更好的保證。

1. 生成對抗網(wǎng)絡(luò)原理

生成對抗網(wǎng)絡(luò)屬于雙邊博弈鑒別類游戲，主要包括生成網(wǎng)絡(luò)（generator）與鑒別網(wǎng)絡(luò)（discriminator）兩部分。其中，前者基于噪聲生成圖像，可取得與真實圖像逼近的效果；后者則主要基于真實數(shù)據(jù)，對前者所生成圖像的真假進(jìn)行辨別，二者通過博弈，持續(xù)增強前者的圖像生成能力，一直到后者無法辨別圖像真假[5]。生成對抗網(wǎng)絡(luò)原理如圖1所示。

分別用G與D表示生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)，如果D的評分比較低，意味著G生成圖像的效果比較差，這時便需要通過訓(xùn)練對參數(shù)做相應(yīng)調(diào)整。在實際鑒別的過程中，D的輸出值與1越接近，意味著G所生成的圖像越真實。

實際上，G和D屬于GAN中的兩個相互獨立的模型，各步僅能執(zhí)行一個步驟，G與D單獨交替迭代訓(xùn)練。在具體訓(xùn)練的過程中，G生成的數(shù)據(jù)用Pg（x）來表示，真實數(shù)據(jù)用P（x）來表示，它們通過D持續(xù)迭代訓(xùn)練。G將噪聲z在P（x）中映射，通過持續(xù)訓(xùn)練G的分布擬合真實數(shù)據(jù)分布，D無法再完成對P（x）和G生成數(shù)據(jù)的映射。

2. 基于生成對抗網(wǎng)絡(luò)的圖像增強

基于GAN的圖像增強原理如圖2所示[6]。根據(jù)該圖，低照度或霧天環(huán)境下的圖像在經(jīng)過抖動與鏡像之后輸入G，之后經(jīng)由生成網(wǎng)絡(luò)增強輸出，和正常照度圖像進(jìn)行可微增強，之后向D輸入，D結(jié)合鑒別的真假結(jié)果，經(jīng)由損失函數(shù)向G與自身反饋，以此對參數(shù)進(jìn)行優(yōu)化，循環(huán)該過程，一直到G和D實現(xiàn)平衡。

在上下采樣塊中，主要基于scSE注意力機制的支持執(zhí)行空間與通道權(quán)重的分配任務(wù)，通過殘差完成特征疊加，進(jìn)一步針對性地保留增強特征，通過可微增強模塊，在不同增強方式的支持下，實現(xiàn)生成圖像及真實圖像的增強處理。

2.1 生成網(wǎng)絡(luò)

基于UNet網(wǎng)絡(luò)添加殘差連接，能夠顯著增強對圖像特征的提取能力，在此基礎(chǔ)上加深網(wǎng)絡(luò)記憶，并有效提升網(wǎng)絡(luò)穩(wěn)定性。在執(zhí)行上下采樣任務(wù)的過程中，正是因為G所采用的是殘差連接的方式，因此，在具體的下采樣環(huán)節(jié)，需要針對上層網(wǎng)絡(luò)實施卷積處理，目的在于有效減小數(shù)據(jù)尺度，并相應(yīng)縮短和下層殘差之間的連接。相對應(yīng)地，在上采樣環(huán)節(jié)，需要針對下層網(wǎng)絡(luò)實施反卷積處理，對其目的進(jìn)行分析，即有效增大數(shù)據(jù)尺度，并與上層殘差建立起有效連接。在實際殘差連接的全過程中，因為數(shù)據(jù)形狀在相應(yīng)程度上存在差異，故針對性地對1×1卷積核過渡上下采樣的方式加以運用。

2.2 鑒別網(wǎng)絡(luò)

本文使用PatchGAN全卷積網(wǎng)絡(luò)鑒別器執(zhí)行N維矩陣的輸出任務(wù)，在此基礎(chǔ)上求解矩陣均值，進(jìn)而得到真假的判別結(jié)果，此環(huán)節(jié)將圖像各個部分的潛在影響作為綜合考慮因素，對于細(xì)節(jié)的關(guān)注更為全面。以圖像增強為目標(biāo)的鑒別網(wǎng)絡(luò)中，輸入主要包括兩張圖像（待增強的低照度圖像與正常照度圖像），鑒別網(wǎng)絡(luò)對兩張圖像的匹配情況進(jìn)行分析。除首個下采樣未對層歸一化加以運用外，鑒別網(wǎng)絡(luò)中其他下采樣所采用的均是標(biāo)準(zhǔn)的下采樣塊。

2.3 損失函數(shù)

本文生成網(wǎng)絡(luò)對huber損失函數(shù)結(jié)合BCE損失函數(shù)的方式加以運用，前者用于反映目標(biāo)圖像和生成圖像之間的差異，后者用于反映生成圖像被D判定為假的懲罰。D利用BCE函數(shù)對生成圖像真假輸出矩陣和圖像標(biāo)簽的不同進(jìn)行判別，基于該函數(shù)的BCE損失計算如下：

（1）

式中，N為PatchGAN全卷積網(wǎng)絡(luò)的輸出數(shù)據(jù)大小，反映的是圖像像素個數(shù)；p（yi）為像素預(yù)測為真或假的概率。

3. 基于變分PDE的圖像修復(fù)

基于變分PDE的圖像修復(fù)主要是針對待修復(fù)區(qū)域的圖像進(jìn)行微分?jǐn)U散方程的構(gòu)建，在此基礎(chǔ)上迭代并更新待修復(fù)的像素值，進(jìn)而達(dá)到修復(fù)圖像的目的。在變分PDE中，TV模型能夠在科學(xué)保持圖像邊緣的同時，將部分噪聲消除，本文對該模型加以利用，尋找圖像能量函數(shù)，并求取區(qū)域內(nèi)的極小值，將待修復(fù)像素值確定下來，進(jìn)而實現(xiàn)圖像修復(fù)。

基于變分PDE的圖像修復(fù)過程用下式表示：

（2）

式中，M為整幅圖像；D為圖像中待修復(fù)部位；u為圖像中待修復(fù)部位的像素值；u0為初始值。

基于變分原理，可得Euler-Lagrange公式，如下：

（3）

（4）

對公式（3）變形，有：

（5）

公式（5）屬于非線性微分?jǐn)U散方程，在不斷趨向零的過程中，可以獲取u的最小值。極值所在邊界部位M需要與有偏條件相符，即，此處所表示的即邊界位置的法向量。

因為在平滑區(qū)存在趨向零的可能，所以，為規(guī)避分母為零的可能，一般情況下用

對進(jìn)行替代，，a為正參數(shù)，取值非常小。

由此一來，可將公式（2）變形為

（6）

在此基礎(chǔ)上，針對圖像待修補位置實施像素差值處理，持續(xù)循環(huán)此項操作，直到完成整幅圖像的修補。

4. 實驗分析

為驗證本文圖像增強與修復(fù)方法效果，進(jìn)行如下仿真實驗。

4.1 圖像增強實驗

此次仿真實驗對標(biāo)準(zhǔn)化測試視頻序列截圖（24位，霧天條件，分辨率為712×623）加以運用，Celeron 2.4GHz，6GB PC機，操作系統(tǒng)為Win7，基于Matlab實現(xiàn)本文基于生成對抗網(wǎng)絡(luò)的圖像增強方法。由于霧天條件下并沒有原始標(biāo)準(zhǔn)圖像，因而只可以實施無參考評價，經(jīng)過綜合分析，將NR-NIQE設(shè)定為圖像質(zhì)量評價標(biāo)準(zhǔn)，并與人的主觀評價相配合，得到評價結(jié)果，如表1所示。

根據(jù)表1，在霧天條件下，利用本文圖像增強方法對圖像進(jìn)行處理，對比度、可視化效果以及圖像質(zhì)量均得到較為明顯的提升，評價參數(shù)亦得到提升，算法具有簡單易行、效率高的優(yōu)勢。

4.2 圖像修復(fù)實驗

在圖像增強實驗的基礎(chǔ)上，進(jìn)一步進(jìn)行圖像修復(fù)仿真實驗，仿真環(huán)境依舊為Celeron 2.4GHz，6GB PC機，Win7，基于Matlab實現(xiàn)本文基于變分PDE的圖像修復(fù)方法，得到仿真結(jié)果。

圖像修復(fù)效果評價結(jié)果如表2所示，其中，前兩個（MSE與PSNR）為全參考評價，后兩個（NR-NIQE與人的主觀評價）為無參考質(zhì)量評價。

根據(jù)表2，本文方法對受損圖像的修復(fù)速度比較快，修復(fù)結(jié)果痕跡很小，和原圖沒有明顯差距，且圖像質(zhì)量各項評價指標(biāo)基本與主觀質(zhì)量評價相符。

結(jié)語

本文對基于生成對抗網(wǎng)絡(luò)的圖像增強技術(shù)進(jìn)行探討，在此基礎(chǔ)上，搭配使用變分PDE技術(shù)對圖像進(jìn)行修復(fù)，經(jīng)過實驗，對此方法有效性及應(yīng)用價值進(jìn)行驗證，后續(xù)將進(jìn)一步研究針對較大尺度、紋理復(fù)雜的圖像，如何進(jìn)一步改善增強及修復(fù)效果，或通過模型復(fù)雜度的進(jìn)一步降低，節(jié)省網(wǎng)絡(luò)訓(xùn)練時間。

參考文獻(xiàn)：

[1]李豐耀.基于先增強后修復(fù)的兩階段弱光照圖像增強方法研究[D].南京：南京郵電大學(xué)，2023.

[2]周妍，尹勇，邵澤遠(yuǎn).基于循環(huán)生成對抗網(wǎng)絡(luò)的海上落水人員紅外圖像檢測方法[EB/OL].（2024-05-31）[2024-06-05].https：//kns.cnki.net/kcms2/article/abstract？v=wYgW8A8u9voQvdVz3A_SntrbHS8oikhd90WU3Vj3s_Ii3-_PrVqDC97Cf7lDoCehKuBxuMQ5Bl8dhiLJF5M7fnqACkhWGvPoh9jt3V1G2CiqRXO9GYbZX9DK5bTm1T94IKSDPEDjrEs=&uniplatform=NZKPT&language=CHS.

[3]唐泉，張新東.基于改進(jìn)PDE擴(kuò)散系數(shù)的圖像去噪研究[J].新疆師范大學(xué)學(xué)報（自然科學(xué)版），2019，38（1）：33-38.

[4]呼亞萍，孔韋韋，李萌，等.改進(jìn)TV圖像去噪模型的全景圖像拼接算法[J].計算機工程與應(yīng)用，2021，57（17）：203-209.

[5]李海洋.基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)技術(shù)研究與應(yīng)用[D].蘭州：蘭州交通大學(xué)，2021.

[6]張翔宇.基于生成對抗網(wǎng)絡(luò)的低光照圖像增強技術(shù)研究[D].無錫：江南大學(xué)，2023.

作者簡介：牛軍軍，碩士研究生，助教，研究方向：數(shù)據(jù)挖掘、人工智能。