基于殘差網絡的圖像缺失修復研究

王豫峰

（南陽理工學院計算機與軟件學院，南陽 473000）

0 引言

圖像修復技術是計算機視覺任務中非常重要的一項任務，是針對圖像中像素信息缺失或者受損部分，利用原有圖像中的像素信息和相關先驗信息，來對原本已經破損的圖像進行信息補全和信息填充，得到一個經過填充處理的圖像的過程，使得經過處理的圖像和原完好圖像沒有太明顯的差別。圖像修復的本質是根據圖像中的部分完整信息重構整個圖像的完全信息，因此該問題沒有明確的唯一解。圖像修復技術的應用領域非常廣泛，比如：破損字畫等藝術品的修復、老舊照片的修復、失真圖片恢復、目標移除和圖像超分。

與傳統的圖像去噪任務相比，圖像修復任務不僅需要將圖像缺損內容補全，還需要根據整個圖像的紋理走向和圖像細節進行補全。在補全圖像缺失部分的同時，需要使補全后的圖像最大程度地接近真實圖像，使得修復后的圖像和原本完好圖像沒有太明顯的差別。在常規或小塊缺陷的圖像修復中，通過利用編碼器-解碼器架構學習圖像的數據分布，取得了良好的效果。但隨著區域的增大，像素之間的相關性減弱，圖像修復的質量就會急速下降。與常規的圖像修復和小塊圖像修復不同，大塊圖像修復需要預測的缺失內容較多，信息量較少。圖像修復的性能在很大程度上取決于所設計模型的預測能力。當前模型掌握的信息量較少時，就會產生失真、模糊的紋理和扭曲的結構。

現有的方法在方形遮罩和小比例損壞的圖像上取得了良好的性能，但對具有大比例不規則缺陷的圖像的修復算法是不夠的。針對大比例受損圖像，注意力機制是圖像修復任務中使用的一個重要工具，它可以匹配深度特征貼圖上的像素或面片以生成良好的結果。但是，固定單尺度上的面片匹配限制了將此模型應用于不同場景的能力。針對這一現象，需要將不同層次的深層特征映射來獲取不同尺度的信息，從而利用背景信息準確地恢復掩模區域。

為了使模型具有較強的預測能力，本文提出一種基于殘差網絡的圖像修復算法。利用殘差網絡的殘差特性，可以有效地降低模型退化。在殘差網絡中，以遞歸的方法收集并傳播不同層次的殘差信息，從而使不同層的特征表達不同的屬性，發揮不同的作用。算法將部分卷積策略引入到U-Net結構中。在處理不同狀態的區域時，包括已知背景和未知前景區域，可以避免誤用虛假特征信息。提出的損失函數結合了像素重建損失函數、感知損失函數、風格損失函數和全局損失函數，主要根據鑒別器和特征提取器生成，有助于獲得真實的細節，修復圖像中受損區域的基本紋理和結構，獲得細膩的細節。

1 相關工作

目前圖像修復技術主要分為兩種，一種是傳統圖像修復技術，一種是基于深度學習的圖形修復技術。

傳統的圖像修復方法通過傳播信息來填充受損區域。根據傳播的內容，傳統的方法可以簡單地分為基于擴散的方法和基于補丁的方法。基于擴散的修復方法通過將局部像素強度的高階導數沿等像線從外部連續傳播到受損區域來重建目標區域，或者通過最小化修復模型的高階偏微分方程來重建目標區域。這些方法在保持局部平滑度和生成幾何結構方面具有良好的性能。但是，當孔洞較大時，它們會產生模糊結果。基于面片的方法可以通過在面片級別搜索圖像的已知區域來恢復稍大的孔洞，并將最佳匹配的面片復制到缺失區域。在Patch-Match方法中，通過隨機抽樣可以找到一些好的補丁匹配，圖像中的自然連貫性使這種匹配能夠快速傳播到周圍區域。文獻［7］開發了一種基于面片的圖像修復方法，該方法通過測量非局部紋理相似度來搜索已知區域，并將找到的候選面片與遮罩區域進行平均濾波器融合。傳統的方法可以成功地恢復一些紋理細節，并獲得滿意的結果，但捕獲全局結構的問題仍然存在。這些傳統算法通常通過數學和統計方法獲取信息，導致無法生成新內容。在解決面部修復問題時，它們往往無法產生合理的結果。

隨著機器學習的發展，很多基于卷積神經網絡的模型被提出，它們通過大規模的訓練數據解決上述問題。CE算法通過傳遞輸入圖像的表示特征，在語義層次上為填充損傷區域提供合理的內容。文獻［8］提出了一種基于CE算法的全局和局部一致性圖像完成架構，該架構由完成網絡、全局上下文鑒別器和局部上下文鑒別器組成，以確保全局一致性和局部合理細節。MNPS將內容網絡和紋理網絡結合起來，以獲得整體和局部的約束信息。文獻［10］將轉移連接引入U-Net網絡，用于填充受損區域，以快速生成合理的內容。在轉移連接層的幫助下，有效區域的編碼器特征被轉移到缺失區域作為額外的約束。然而，這些方法通常集中于經常出現在圖像中心的方形遮罩區域。通過改變遮罩層的外輪廓，從而解決某些特定任務，如目標移除。

對于隨機損壞的圖像，可以通過圖像空間位置的每個通道學習動態特征，并根據圖像特征數據更新掩碼，將區域卷積添加到由粗到細的網絡中，并采用非局部運算來處理完好區域和受損區域之間的差異和相關性。通過部分卷積和遮罩更新替換卷積層，僅利用有效輸入生成輸出。除了使用新的卷積方法改進這些方法外，還可以考慮輪廓邊緣信息來恢復受損區域，通過檢測前景中顯著性對象的輪廓，建立由邊緣生成器和圖像組成的網絡，然后使用該網絡指導圖像修復。

在圖像的修復中，想完整地表達圖像的結構信息，需要使用注意力機制。注意力機制廣泛應用于高級計算機視覺任務中，它是圖像修復中的一個重要工具，利用高層語義信息重構底層圖像特征，可以幫助從背景中學習相關特征。利用圖像的上下文注意力模塊，可以建立起從粗到精的體系結構，該體系結構專注于任何位置的相關功能補丁，以改進修復結果。多元圖像補全方法采用了一種自我關注的方法，利用短期和長期的上下文信息來保證外觀的一致性，用于處理不規則遮罩區域。但注意力機制還需要考慮不規則缺損區域的原因，需要構建不同尺度的注意力機制。

2 算法實現

2.1 算法模型

本文提出一種基于多尺度特征融合的殘差網絡模型，該模型可以有效融合多尺度的特征信息、空間注意力和遞進通道-空間注意力的表征特征，模型總體架構如圖1所示。

圖1 整體網絡結構

模型由編碼器和解碼器組成。編碼器用于學習特征，是一個下采樣和圖像特征化的過程。解碼器用于將先前編碼的特征轉換為所需的輸出，用于恢復和解釋特征地圖。為了避免連續下采樣導致丟失高頻信息，模型在下采樣前的卷積層和相應的反卷積層之間添加跳躍連接，通過對稱性保留細微的細節。從而使得圖像修復模型不僅保留初始細節以生成更精確的圖像，而且避免了計算成本的快速增加。

模型采用U-Net的體系結構作為算法的主干。在該體系結構中，每個特征尺度上使用跳躍連接，從而能夠充分地保留高-中-低層次的信息。模型的網絡參數可以聚焦于圖像的缺失部分，而忽略已知區域。

通過構造常數映射函數可以減少模型退化。在淺層網絡的頂部覆蓋一層身份映射=，可以隨著網絡深度的增加來表示高級特征。如何獲得常數映射是構建深度網絡的關鍵。在Resnet（見圖2）中，常量映射函數由以下函數構造：

圖2 Resnet網絡中的殘差模型

其中，x表示第-1層特征，身份映射函數可以通過學習H(x)得到。

每一個殘差塊由兩個部分組成，即：特征地圖和標識分支。在局部殘差模型中，存在多層特征和標識分支。其中，特征是連續序列形式，標識分支成倍增加。當函數的輸入維度非常高、網絡的層數加深時，會直接導致模型退化。但是，通過建立層的跳躍連接，可以更加有效地傳遞特征信息，減少了網絡深度帶來的副作用，從而使得帶短連接的網絡擬合高維函數的能力比普通連接的網絡更強，所以殘差網絡可以擬合更高維的函數。

在局部殘差模型中，每層以前饋方式接收所有先前層的殘差，即：

為了使非局部特征在整個網絡的學習過程中發揮作用，模型在更高的層次上提出了一種全局殘差收集方法，在全局范圍內的殘余聚集可以描述為：

其中，表示第一層，H(x)為最外層的身份映射。與普通殘差學習相比，本模型具有更強的參數傳導性和特征學習性。

2.2 損失函數

為了更加有效地提高圖像修復模型的精準度，在構造損失函數時，需要考慮全局一致性和局部的細節協調性。損失網絡由四部分組成，即像素重建損失函數、感知損失函數、風格損失函數和全局損失函數，用于局部像素完整性（局部區域有效損失）、細節協調性（內容相似度損失）、全局一致性（空間平滑度的總變化損失）和整體損失（補償損失誤差）。

在圖像修復過程中，像素重建損失函數是利用真實圖像和遮罩圖像之間的像素差異特性，從而進一步保證圖像缺損區域的修補的有效性。和是遮罩、輸出圖像和真實圖像I的L1正則項：

其中，N表示真實圖像I和遮罩的相同的像素個數，遮罩是一個二進制矩陣，其中0表示缺失像素。

為了確保圖像高級結構的相似性，以保持全局圖像的結構信息，需要對真實圖像相似的特征進行表示，而不是它們之間的像素匹配。本文通過在VGG-16特征提取器中輸入生成的圖像和真實圖像來計算感知損失。通過VGG的感知損失函數可以保證解碼器生成的圖像更接近真實圖像。使用ImageNet中經過預訓練的VGG-16網絡的第1、2、3層來進行計算。

現在，在中國，無論是繁華都市，還是偏遠山村，只要提到方便面，沒人不知道康師傅，提到茶飲料，沒人不知道康師傅冰紅茶。

風格損失函數用于圖像風格的一致性，通過計算VGG特征地圖自相關系數的L1正則化數值，獲得圖像整體高層風格樣式信息，確保修復的內容能夠符合整體圖像的風格樣式。

其中，H、W和C分別代表第層特征地圖Ψ的高度、寬度和通道數。

全局損失函數主要對圖像進行平滑懲罰。

其中，表示圖像缺失區域。

因此，算法通過融合像素重建損失函數、感知損失函數、風格損失函數和全局損失函數四種損失函數，輸出不再代表整個圖像，而是圖像的不同區域。這樣，每一個判別結果都代表了圖像的局部特征，對于包含不規則區域的圖形修復任務是合理的。通過四類損失函數訓練模型的級聯性。圖像修復的解碼器輸出，用表示。

中各項的系數，參考文獻［10］中的設置。

3 實驗分析

為了測試圖像修復算法的有效性，算法分別在Places2數據集和CelebA數據集上進行了圖像修復測試。在訓練階段，學習率設置為0.0003。在圖像修復評價中，使用填充圖像的視覺質量來評估算法的性能。

圖3展示圖像修復前后的對比結果。在實驗中，分別測試了建筑、景觀、房屋、人像等場景。從測試結果來看，算法可以處理帶有任意形狀孔的雜項圖像。即使缺損區域較大，圖像修復結果看起來也很自然。

圖3 圖像修復前后對比圖

在圖像修復的結果中，第一張圖像修復效果較好，不僅還原出原始的紋理信息，并且在結構上也沒有出現較明顯的扭曲，因為建筑物的整體線條直接，都是直線型。在未缺損區域，有效地保留了建筑物的整體風格樣式。所以，圖像修復效果較好。第二張圖像在結構上有部分扭曲，并且細節上有模糊的像素。主要原因是從已知區域中搜索近似最近鄰塊以匹配未知區域的時候，產生了大量不能適配的區域，從而導致圖像修復結果產生模糊紋理和扭曲結構。第三張圖像修復的結果失真，主要是因為該圖像是一個風景建筑物，在圖像缺損區域的鄰接區域中，正好有一個門。圖像在修復過程中，過多地學習了鄰域的感知信息，從而導致修復結果錯誤。第四張圖像是人像場景，由于人臉區域較為復雜，出現的缺損部分將人臉輪廓等重要信息覆蓋。算法根據前后相鄰區域塊的交替信息，對人臉外輪廓進行了預測。但是，在眼睛等細節部分，沒有搜索到明確匹配區域塊，從而導致出現圖像模糊的情況。

4 結語

本文提出了一個基于U-Net的殘差聚集網絡來處理圖像修復問題。算法充分利用了殘差學習，利用多級注意力模塊，通過添加級聯實現了不規則掩模區域的多尺度特征表示。算法將部分卷積策略和多級注意力與提出的關節損失函數相結合，以保持背景區域的全局風格并生成精細的細節，從而得到真實的結果。實驗表明，所提出的模型在生成真實和詳細的結果方面優于最新的方法。

圖像損失區域的邊緣信息可能會導致圖像修復部分遮罩或重構的失敗。在圖像修復中，通過預測輪廓，然后修復缺失區域是一種可能的解決方案，這也是下一步將要考慮的重點。