基于生成對抗網絡的圖像增強與修復技術研究

摘要：在低光照與霧天等特殊條件下，圖像采集設備捕捉的圖像亮度相對較低，容易出現特征遺漏、信息呈現不足等問題，為解決這一問題，本文提出一種基于生成對抗網絡的圖像增強方法，利用變分PDE中的TV模型對圖像進行進一步修復。仿真實驗結果顯示，本文方法可明顯提高圖像對比度、可視化效果與質量，且圖像修復速度較快，沒有明顯修復痕跡，有一定的應用與推廣價值。

關鍵詞：生成對抗網絡；圖像增強；圖像修復；變分PDE

引言

近年來，圖像處理技術的應用越來越多，不過在低光照與霧天等特殊條件下，圖像往往存在清晰度低、噪聲多、對比度差等諸多問題，圖像處理技術面臨挑戰[1]。在此背景下，圖像增強技術得以出現，其目的在于對圖像細節進行合理與有效調整，提高原始圖像對比度及清晰度，進而實現圖像可視效果的優化。以交通監控領域為例，對于晚間或雨雪、大霧等天氣，攝像機圖像質量會明顯降低，有價值信息的提取難度大幅增加，利用圖像增強技術，能夠對圖像細節及對比度進行調整，進而為智能交通系統提供重要幫助，使其更加準確地將車輛與行人識別出來，對道路安全性的提升以及交通事故的預防均具有不容忽視的積極意義。

盡管光照增強領域目前已經取得一定的經驗，但當前方法對增強后圖片中噪聲的影響有所忽視，且對圖片的受損情況不夠重視，圖像質量尚有較大提升空間。基于此，本文提出基于生成對抗網絡（generative adversarial network，GAN）[2]的圖像增強方法，以實現光照增強目標，進一步配合變分PDE[3]中的TV模型[4]執行圖像修復任務，將圖像噪聲去除，處理圖像受損問題，為圖像質量提供更好的保證。

1. 生成對抗網絡原理

生成對抗網絡屬于雙邊博弈鑒別類游戲，主要包括生成網絡（generator）與鑒別網絡（discriminator）兩部分。其中，前者基于噪聲生成圖像，可取得與真實圖像逼近的效果；后者則主要基于真實數據，對前者所生成圖像的真假進行辨別，二者通過博弈，持續增強前者的圖像生成能力，一直到后者無法辨別圖像真假[5]。生成對抗網絡原理如圖1所示。

分別用G與D表示生成網絡與鑒別網絡，如果D的評分比較低，意味著G生成圖像的效果比較差，這時便需要通過訓練對參數做相應調整。在實際鑒別的過程中，D的輸出值與1越接近，意味著G所生成的圖像越真實。

實際上，G和D屬于GAN中的兩個相互獨立的模型，各步僅能執行一個步驟，G與D單獨交替迭代訓練。在具體訓練的過程中，G生成的數據用Pg（x）來表示，真實數據用P（x）來表示，它們通過D持續迭代訓練。G將噪聲z在P（x）中映射，通過持續訓練G的分布擬合真實數據分布，D無法再完成對P（x）和G生成數據的映射。

2. 基于生成對抗網絡的圖像增強

基于GAN的圖像增強原理如圖2所示[6]。根據該圖，低照度或霧天環境下的圖像在經過抖動與鏡像之后輸入G，之后經由生成網絡增強輸出，和正常照度圖像進行可微增強，之后向D輸入，D結合鑒別的真假結果，經由損失函數向G與自身反饋，以此對參數進行優化，循環該過程，一直到G和D實現平衡。

在上下采樣塊中，主要基于scSE注意力機制的支持執行空間與通道權重的分配任務，通過殘差完成特征疊加，進一步針對性地保留增強特征，通過可微增強模塊，在不同增強方式的支持下，實現生成圖像及真實圖像的增強處理。

2.1 生成網絡

基于UNet網絡添加殘差連接，能夠顯著增強對圖像特征的提取能力，在此基礎上加深網絡記憶，并有效提升網絡穩定性。在執行上下采樣任務的過程中，正是因為G所采用的是殘差連接的方式，因此，在具體的下采樣環節，需要針對上層網絡實施卷積處理，目的在于有效減小數據尺度，并相應縮短和下層殘差之間的連接。相對應地，在上采樣環節，需要針對下層網絡實施反卷積處理，對其目的進行分析，即有效增大數據尺度，并與上層殘差建立起有效連接。在實際殘差連接的全過程中，因為數據形狀在相應程度上存在差異，故針對性地對1×1卷積核過渡上下采樣的方式加以運用。

2.2 鑒別網絡

本文使用PatchGAN全卷積網絡鑒別器執行N維矩陣的輸出任務，在此基礎上求解矩陣均值，進而得到真假的判別結果，此環節將圖像各個部分的潛在影響作為綜合考慮因素，對于細節的關注更為全面。以圖像增強為目標的鑒別網絡中，輸入主要包括兩張圖像（待增強的低照度圖像與正常照度圖像），鑒別網絡對兩張圖像的匹配情況進行分析。除首個下采樣未對層歸一化加以運用外，鑒別網絡中其他下采樣所采用的均是標準的下采樣塊。

2.3 損失函數

本文生成網絡對huber損失函數結合BCE損失函數的方式加以運用，前者用于反映目標圖像和生成圖像之間的差異，后者用于反映生成圖像被D判定為假的懲罰。D利用BCE函數對生成圖像真假輸出矩陣和圖像標簽的不同進行判別，基于該函數的BCE損失計算如下：

（1）

式中，N為PatchGAN全卷積網絡的輸出數據大小，反映的是圖像像素個數；p（yi）為像素預測為真或假的概率。

3. 基于變分PDE的圖像修復

基于變分PDE的圖像修復主要是針對待修復區域的圖像進行微分擴散方程的構建，在此基礎上迭代并更新待修復的像素值，進而達到修復圖像的目的。在變分PDE中，TV模型能夠在科學保持圖像邊緣的同時，將部分噪聲消除，本文對該模型加以利用，尋找圖像能量函數，并求取區域內的極小值，將待修復像素值確定下來，進而實現圖像修復。

基于變分PDE的圖像修復過程用下式表示：

（2）

式中，M為整幅圖像；D為圖像中待修復部位；u為圖像中待修復部位的像素值；u0為初始值。

基于變分原理，可得Euler-Lagrange公式，如下：

（3）

（4）

對公式（3）變形，有：

（5）

公式（5）屬于非線性微分擴散方程，在不斷趨向零的過程中，可以獲取u的最小值。極值所在邊界部位M需要與有偏條件相符，即，此處所表示的即邊界位置的法向量。

因為在平滑區存在趨向零的可能，所以，為規避分母為零的可能，一般情況下用

對進行替代，，a為正參數，取值非常小。

由此一來，可將公式（2）變形為

（6）

在此基礎上，針對圖像待修補位置實施像素差值處理，持續循環此項操作，直到完成整幅圖像的修補。

4. 實驗分析

為驗證本文圖像增強與修復方法效果，進行如下仿真實驗。

4.1 圖像增強實驗

此次仿真實驗對標準化測試視頻序列截圖（24位，霧天條件，分辨率為712×623）加以運用，Celeron 2.4GHz，6GB PC機，操作系統為Win7，基于Matlab實現本文基于生成對抗網絡的圖像增強方法。由于霧天條件下并沒有原始標準圖像，因而只可以實施無參考評價，經過綜合分析，將NR-NIQE設定為圖像質量評價標準，并與人的主觀評價相配合，得到評價結果，如表1所示。

根據表1，在霧天條件下，利用本文圖像增強方法對圖像進行處理，對比度、可視化效果以及圖像質量均得到較為明顯的提升，評價參數亦得到提升，算法具有簡單易行、效率高的優勢。

4.2 圖像修復實驗

在圖像增強實驗的基礎上，進一步進行圖像修復仿真實驗，仿真環境依舊為Celeron 2.4GHz，6GB PC機，Win7，基于Matlab實現本文基于變分PDE的圖像修復方法，得到仿真結果。

圖像修復效果評價結果如表2所示，其中，前兩個（MSE與PSNR）為全參考評價，后兩個（NR-NIQE與人的主觀評價）為無參考質量評價。

根據表2，本文方法對受損圖像的修復速度比較快，修復結果痕跡很小，和原圖沒有明顯差距，且圖像質量各項評價指標基本與主觀質量評價相符。

結語

本文對基于生成對抗網絡的圖像增強技術進行探討，在此基礎上，搭配使用變分PDE技術對圖像進行修復，經過實驗，對此方法有效性及應用價值進行驗證，后續將進一步研究針對較大尺度、紋理復雜的圖像，如何進一步改善增強及修復效果，或通過模型復雜度的進一步降低，節省網絡訓練時間。

參考文獻：

[1]李豐耀.基于先增強后修復的兩階段弱光照圖像增強方法研究[D].南京：南京郵電大學，2023.

[2]周妍，尹勇，邵澤遠.基于循環生成對抗網絡的海上落水人員紅外圖像檢測方法[EB/OL].（2024-05-31）[2024-06-05].https：//kns.cnki.net/kcms2/article/abstract？v=wYgW8A8u9voQvdVz3A_SntrbHS8oikhd90WU3Vj3s_Ii3-_PrVqDC97Cf7lDoCehKuBxuMQ5Bl8dhiLJF5M7fnqACkhWGvPoh9jt3V1G2CiqRXO9GYbZX9DK5bTm1T94IKSDPEDjrEs=&uniplatform=NZKPT&language=CHS.

[3]唐泉，張新東.基于改進PDE擴散系數的圖像去噪研究[J].新疆師范大學學報（自然科學版），2019，38（1）：33-38.

[4]呼亞萍，孔韋韋，李萌，等.改進TV圖像去噪模型的全景圖像拼接算法[J].計算機工程與應用，2021，57（17）：203-209.

[5]李海洋.基于生成對抗網絡的圖像修復技術研究與應用[D].蘭州：蘭州交通大學，2021.

[6]張翔宇.基于生成對抗網絡的低光照圖像增強技術研究[D].無錫：江南大學，2023.

作者簡介：牛軍軍，碩士研究生，助教，研究方向：數據挖掘、人工智能。