基于非局部操作和多尺度特征聚合的圖像修復方法

摘 要 為有效解決修復大范圍破損圖像時存在的紋理模糊和整體語義信息不連貫的問題，提出基于非局部操作和多尺度特征聚合的兩階段圖像修復算法，在第1階段，邊緣重建網絡生成整體的邊緣結構信息；在第2階段，引入非局部操作機制進行紋理細節信息的修復。在CelebA-HQ數據集上采用不同掩碼率的圖像進行性能驗證，結果顯示所提模型的PSNR和SSIM分別達到了32.17 dB和0.982；與EdgeConnect、RFR、CTSDG和AOT-GAN模型進行比較，結果表明：該模型對大范圍破損圖像能夠生成紋理更加清晰且語義合理的修復圖像，PSNR、SSIM和FID指標均優于其他4種算法。

關鍵詞 圖像修復 大范圍破損 非局部操作 多尺度特征聚合 生成對抗網絡 紋理模糊 掩碼率

整體語義信息不連貫

中圖分類號 TP751"" 文獻標志碼 A"" 文章編號 1000-3932（2024）05-0821-09

圖像修復，是基于圖像中已知像素信息，利用計算機算法和數字圖像處理技術，對破損區域的像素信息進行重建，生成語義正確、結構合理的近似原始圖像的技術。作為計算機視覺領域的一個重要分支，圖像修復在圖像編輯、文物保護等圖像處理任務中應用廣泛。傳統的圖像修復方法對于結構簡單、損壞面積較小的圖像信息具有較好的修復效果，但對于紋理復雜、受損區域過大的圖像修復效果有限。近年來，隨著深度學習技術的迅猛發展，將基于卷積神經網絡（Convolutional Neural Networks，CNN）［1］和生成對抗網絡（Generative Adversarial Networks，GAN）［2］的深度學習方法應用于圖像修復領域，通過卷積計算提取待修復圖像的結構和語義特征，生成更加豐富合理的圖像信息，提升了修復質量和視覺效果。

然而現有的圖像修復模型大多依賴于局部信息的捕獲和利用，在處理非局部信息缺失和大范圍損壞圖像時，由于鄰近像素的特征信息關聯性較弱，無法重建精細紋理特征，使得修復后的圖像出現過度平滑或模糊區域。針對這些不足，筆者設計了一種基于非局部操作和多尺度特征聚合的兩階段圖像修復網絡，旨在提高圖像修復結果的精度和魯棒性，并在CelebA-HQ數據集上進行實驗評估，與邊緣連接（EdgeConnect）、循環特征推理（Recurrent Feature Reasoning，RFR）、條件紋理與結構對偶生成（Conditional Texture and Structure Dual Generation，CTSDG）和聚合上下文轉換的生成對抗網絡（Aggregated Contextual-Transformation GAN，AOT-GAN）模型進行對比，以驗證筆者方法的修復效果在整體結構一致性和紋理細節清晰度方面的優勢。

1 傳統圖像修復方法

傳統圖像修復方法是利用圖像缺失區域邊緣像素間的相似性，通過估算和填充缺失區域的內容，完成圖像修復任務，分為基于擴散的圖像修復方法和基于樣本的圖像修復方法。

基于擴散的圖像修復方法是BERTALMIO M等于2000年提出的，通過求解偏微分方程（Partial Differential Equation，PDE），將鄰域像素信息通過等照線的方向場平滑傳播到破損區域，完成圖像修復［3］。受此啟發，CHAN T F和SHEN J提出基于曲率驅動擴散（Curvature-Driven Different，CDD）的方法，在全變分（Total Variation，TV）模型的基礎上，使用不同區域的曲率變化，靈活調整修復程度，能夠更好地滿足圖像的視覺連通性［4］，但是該方法對細節紋理的修復較為模糊。

基于樣本的圖像修復方法是基于紋理、結構等信息，選擇與待修復圖像已知區域相似度最高的樣本，填充破損區域的內容。EFROS A A和LEUNG T K最早提出非參數紋理合成方法，使用馬爾科夫隨機場模型的思想盡可能多地保留了局部結構［5］；CRIMINISI A等基于Efros模型進行改進，實現了紋理和結構信息的同時傳播［6］，但忽略了上下文的語義信息，導致修復結果的整體語義不連貫。

2 基于深度學習的圖像修復方法

近年來，伴隨著人工智能技術的快速發展，學者們開始探索將深度學習模型引入圖像修復領域，并取得了重大進展。

作為將深度學習中生成對抗的思想應用于圖像修復領域的先驅，PATHAK D 等將圖像修復與無監督特征學習相結合，提出基于上下文信息的Context-Encoders修復模型，能夠生成較為清晰的局部信息［7］，但整體結構的連貫性仍有待提高。YU J等提出結合上下文注意力機制引導的兩階段圖像修復方法，使得修復區域更好地融合圖像的整體結構［8］，但是忽略了破損區域內部信息的相似性。LIU G等針對小范圍的不規則圖像缺失，提出帶有掩碼更新機制的部分卷積修復方法，能夠同時關注到整體結構和缺失區域的內部信息［9］，但是此機制存在不穩定性。YU J等引入門控卷積和高效注意力模塊，使模型能夠重建不規則區域的內容信息［10］，但是修復效果的顏色協調性有待提高。NAZERI K等提出利用邊緣信息引導圖像修復的兩階段生成對抗修復網絡［11］，但是圖像語義特征信息的復用性較低。LI J等設計使用遞歸特征推理網絡遞歸加強對深層像素的約束［12］，但由于特征圖不一致的問題，在合并過程中存在邊界偽影。GUO X等對紋理合成和結構重建分別建模，以耦合方式相互作用生成了合理樣本［13］，但是需要依賴批量歸一化才能產生較好的修復效果。高杰和霍智勇提出一種使用門控卷積的生成對抗網絡動態學習已知區域和破損區域之間像素關系的方法［14］，但是對大范圍缺失區域的紋理修復效果不理想。LI X等采用多層級交互式學習機制，提出一種多級交互式孿生濾波（Multi-level Interactive Siamese Filtering，MISF）圖像修復框架，協調全局圖像信息和局部圖像信息［15］，但由于模型計算量較大，容易受圖像中噪聲干擾的影響。ZENG Y等提出一種上下文聚合算法，實現了大范圍缺失區域的紋理細粒度合成［16］，但是忽略了圖像結構的整體一致性問題。李海燕等提出一種由多個特征推理模塊進行密集連接的修復算法，能夠處理復雜場景下的不規則缺失區域像素的生成［17］，但對于大范圍缺失區域的內部細節修復仍存在過度平滑或模糊區域。

綜上所述，當前圖像修復技術仍存在一些挑戰，筆者將針對圖像大范圍復雜缺失區域的修復問題進行研究，通過加強對非局部信息的捕獲和處理，提出基于非局部操作機制（Non-local Operation Mechanisms，NOM）和多尺度特征聚合模塊（Multi-scale Feature Aggregation Module，MS-FAM）的圖像修復網絡模型NOM+MS-FAM。

3 NOM+MS-FAM圖像修復方法

3.1.3 判別器

雖然兩階段的訓練目的不同，前者側重于整體邊緣結構重建，后者側重于紋理內容生成，但是最終目的均為生成與真實圖片相同的圖像信息，故所提網絡的兩階段判別器D1和D2采用相同結構，包含4個卷積核大小為4×4的卷積層，每層后跟譜歸一化和Sigmoid函數來提高判別器的穩定性和收斂速度。

判別器D接收各階段生成圖像和真實圖像作為網絡的輸入，在訓練過程中，不斷調整自身的參數以降低判別的錯誤率，并反饋給生成器G。生成器G通過判別器D的反饋，了解生成圖像與真實圖像之間的差異，進而調整自身生成的圖像，使其更接近真實圖像的分布。生成器G和判別器D之間不斷地對抗訓練，驅使彼此不斷提高性能，推動整個網絡的學習和優化。

3.2 多尺度特征聚合模塊

由于復雜場景下的圖像信息具有不同的尺度和視角，為了確保重建像素與鄰域信息更加連貫，修復網絡模型要充分合理地利用鄰域像素的紋理信息，受Inception［18］結構的啟發，筆者模型在生成器G中設計MS-FAM模塊，其結構如圖2所示。

首先，將具有256個通道的標準卷積層拆分為4個64輸出通道的子卷積層，每個卷積層在卷積核中的連續位置之間引入孔（零）來擴展卷積核的接受域，使每個卷積層通過不同膨脹率的空洞卷積，具有大小不同的感受野，用于學習不同尺度的特征信息。之后將破損區域周圍的像素信息進行多尺度特征融合，增強網絡對周圍信息的學習能力，提高整體語義信息的連續性。

其中，ω是一個可學習的權重矩陣。

具體來說，式（7）首先將特征映射x投影到兩個空間中，通過點積計算每兩個像素之間的相似度，然后通過softmax激活函數進行計算，最后通過與g′（）點積計算出注意力映射。

3.4 損失函數

網絡的損失函數由生成器損失和判別器損失兩部分組成。在兩個損失函數的博弈中，逐漸生成接近真實圖像的完整圖像。

在所提兩階段網絡中，邊緣結構重建網絡中聯合對抗損失和特征匹配損失對網絡進行優化。融合非局部操作機制的圖像修復網絡中聯合對抗損失、像素重建損失、感知損失、風格損失共同優化網絡模型。

對抗損失定義為：

4 實驗與結果分析

4.1 實驗環境和數據集

實驗平臺為Intel（R）Core（TM）i9-10900K CPU @ 3.70 GHz處理器和NVIDIA GeForce RTX 3090 GPU 24 GB顯存。Windows11操作系統下，運行環境PyTorch1.11.0深度學習框架、Cuda12.2和Python 3.8。

實驗選用了CelebA-HQ數據集［19］，對CelebA-HQ數據集中的30 000張高清人臉圖像按比例進行劃分，27 000張作為訓練集、1 000張作為驗證集、2 000張作為測試集。掩碼數據集使用NVIDA不規則掩碼數據集［9］，分為（0.01，0.1］、（0.1，0.2］、（0.2，0.3］、（0.3，0.4］、（0.4，0.5］、（0.5，0.6］共6種掩碼比例，共12 000張。為保證圖像和掩碼的一一對應關系，對掩碼圖像采用隨機水平和垂直翻轉的方式進行數據增強。輸入圖像的批大小設置為12，使用Adam算法進行損失函數的優化。設置初始學習率為0.000 1，動量衰減指數beta1為0.0、beta2為0.9。

4.2 實驗結果與分析

為驗證所提方法的有效性，在CelebA-HQ數據集上結合不同比例的掩碼率，將筆者模型與近年修復效果較好的EdgeConnect［11］、RFR［12］、CTS-DG［13］和AOT-GAN［16］主流修復算法進行定性和定量對比分析。

4.2.1 定性比較

圖3為5種算法的定性比較。第1列a為真實圖像，第2列b從上到下為選取掩碼比例分別為（0.1，0.2］、（0.2，0.3］、（0.3，0.4］、（0.4，0.5］、（0.5，0.6］區間的破損圖像，第3～6列即c～f為4種對比算法的修復結果，最后一列g是筆者算法的修復圖。

實驗結果表明，當掩碼比例較小時，各算法都可以取得較好的修復效果。隨著掩碼比例的增大，對比圖3第2行眼部細節特征，RFR算法缺失眼窩輪廓信息，EdgeConnect和CTSDG的眼部細節相對模糊；第3行中，RFR算法未修復出完整的鏡框邊緣信息，EdgeConnect生成的嘴角信息模糊，同時在CTSDG和AOT-GAN的結果中鏡框和鼻梁的分界并不明顯，難以生成清晰的邊緣結構信息；第4行中，由于圖像破損區域較大且手指顏色和背景色較為相近，RFR和AOT-GAN算法生成的手部信息出現扭曲變形，EdgeConnect和CTSDG的邊緣輪廓也不明顯；最后一行中掩碼比例在（0.5，0.6］區間且色彩信息較為豐富時，對比真實圖像，EdgeConnect和RFR算法并未修復出合理的內容信息，CTSDG和AOT-GAN算法的修復結果也出現了不同程度的局部輪廓扭曲不完整，且色彩填充也與真實圖像存在較大差異。

定性分析各算法修復效果可以看出，筆者算法在局部紋理細節生成和整體結構重建方面效果最好，并且能夠修復出語義合理且輪廓自然的圖像。

4.2.2 定量比較

為客觀評估筆者算法的修復效果，選用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性指數（Structural Similarity Index，SSIM）、弗雷謝特起始距離（Frechet Inception Distance，FID）作為修復評價指標，PSNR和SSIM用于比較真實圖像和生成圖像之間的整體相似度、感知相似度，數值越大表示生成圖像質量越好；FID量化生成圖像與真實圖像特征分布之間的差異，數值越小表示生成圖像的特征分布越接近真實圖像的特征分布。本研究選擇不同空洞率的掩碼，與EdgeConnect、RFR、CTSDG和AOT-GAN算法在CelebA-HQ數據集上進行比較，結果見表1。

由表1中的對比結果可知，筆者算法的PSNR和SSIM指標均高于對比算法，FID指標低于對比算法。其中，筆者算法測試結果的PSNR最高達到32.17 dB，平均值27.35 dB，對比其他算法分別提高了2.68、3.65、1.68、1.39 dB；SSIM值最高達到0.982，平均值0.933，對比其他算法分別提高了0.081、0.123、0.057、0.046；FID指標最低為3.92，平均值8.03，分別降低了3.93、6.48、3.58、2.62（對比值由各比例的平均值計算得出），充分證明筆者算法的修復效果優于對比算法。

4.3 消融實驗

為驗證非局部操作機制（NOM）和多尺度特征聚合模塊（MS-FAM）的有效性，現進行消融實驗進行驗證：

a. 沒有多尺度特征聚合模塊（MS-FAM）的網絡；

b. 沒有非局部操作機制（NOM）的網絡。

圖4結果表明，無MS-FAM網絡的修復結果面部紋理細節不夠清晰；無NOM網絡的面部輪廓色彩信息過于局部化，整體修復結果不自然，修復效果較差。

定量分析PSNR、SSIM和FID，由表2可知，相較于無MS-FAM和NOM模塊的模型，筆者算法的PSNR分別提高了1.10、0.72 dB，SSIM指標提高了0.035、0.021，FID指標降低了1.65、0.95，充分證明筆者算法具有更好的修復效果。

由消融實驗驗證，多尺度特征聚合模塊（MS-FAM）可以幫助模型合理利用破損區域周圍的像素特征，生成更精細的紋理修復結果。非局部操作機制（NOM）能夠更好地捕捉全局信息和局部信息，能夠增強圖像修復模型對上下文信息的理解，生成語義合理且自然的修復結果。

5"" 結束語

針對大范圍破損圖像的修復，筆者提出了一種基于非局部操作和多尺度特征聚合的兩階段圖像修復網絡，由邊緣結構重建和紋理內容生成網絡兩部分構成。通過融入改進的非局部操作機制（NOM）和多尺度特征聚合模塊（MS-FAM）對網絡架構進行改進。實驗結果表明，所提模型在PSNR、SSIM和FID指標上的性能表現更好，特別在大范圍掩碼下提升的修復效果更加明顯，充分證實了所提修復網絡的有效性，為圖像修復領域大范圍破損圖像的修復提供了有益參考。

參"" 考"" 文"" 獻

［1］" KRIZHEVSKY A， SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks［J］.Communications of the ACM，2017，60（6）：84-90.

［2］"" GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.Generative adversarial networks［J］.Communications of the ACM，2020，63（11）：139-144.

［3］"" BERTALMIO M， SAPIRO G， CASELLES V，et al.Image inpainting［C］//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques.2000：417-424.

［4］"" CHAN T F，SHEN J.Nontexture inpainting by curvat-

ure-driven diffusions［J］.Journal of Visual Communic-

ation and Image Representation，2001，12（4）：436-449.

［5］"" EFROS A A，LEUNG T K.Texture synthesis by non-parametric sampling［C］//Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE，1999：1033-1038.

［6］"" CRIMINISI A， P？魪REZ P， TOYAMA K.Region filling and object removal by exemplar-based image inpainting［J］.IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

［7］"" PATHAK D， KRAHENBUHL P， DONAHUE J，et al.Context encoders：Feature learning by inpainting［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016：2536-2544.

［8］"" YU J，LIN Z，YANG J，et al.Generative image inpaint-

ing with contextual attention［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018：5505-5514.

［9］"" LIU G，REDA F A， SHIH K J，et al.Image inpainting for irregular holes using partial convolutions［C］//Proceedings of the European Conference on Computer Vision （ECCV）.2018：85-100.

［10］"" YU J，LIN Z，YANG J，et al.Free-form image inpaint-

ing with gated convolution［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019：4471-4480.

［11］"" NAZERI K， NG E，JOSEPH T， et al.Edgeconnect：Structure guided image inpainting using edge prediction［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops.2019.

［12］"" LI J， WANG N，ZHANG L， et al.Recurrent feature reasoning for image inpainting［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：7760-7768.

［13］"" GUO X，YANG H，HUANG D.Image inpainting via conditional texture and structure dual generation［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.2021：14134-14143.

［14］"" 高杰，霍智勇.一種門控卷積生成對抗網絡的圖像修復算法［J］.西安電子科技大學學報，2022，49（1）：216-224.

［15］"" LI X，GUO Q，LIN D，et al.MISF：Multi-level Interact-

ive Siamese Filtering for high-fidelity image inpainting［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022：1869-1878.

［16］"" ZENG Y，FU J，CHAO H，et al.Aggregated contextual transformations for high-resolution image inpainting［J］.IEEE Transactions on Visualization and Computer Graphics，2022.DOI：10.48550/arXiv.2104.

01431.

［17］"" 李海燕，尹浩林，李鵬，等.基于密集特征推理及混合損失函數的修復算法［J］.華南理工大學學報（自然科學版），2023，51（9）：99-109.

［18］"" SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Ince-

ption-v4，inception-resnet and the impact of residual connections on learning［C］//Proceedings of the AAAI Conference on Artificial Intelligence.2017：4278-4284.

［19］"" KARRAS T， AILA T， LAINE S，et al.Progressive growing of gans for improved quality，stability，and variation［J］.arXiv Preprint arXiv：1710.10196，2017.

（收稿日期：2024-01-09，修回日期：2024-03-15）

Image Inpainting Method Based on Non-local Operation

and Multi-scale Feature Aggregation

LV Xiu-li， WANG Yang， CAO Zhi-min

（School of Physics and Electronic Engineering， Northeast Petroleum University）

Abstract"" For purpose of effectively solving blurred texture and incoherent overall semantic information in repairing extensively-damaged images， a two-stage image restoration algorithm based on non-local operations and multi-scale feature aggregation was proposed. In the first stage， the edge reconstruction network generated the overall edge structure information； in the second stage， a non-local operation mechanism was introduced to repair the texture’s detail information. On the CelebA-HQ dataset， images with different mask rates were used for performance verification， and the PSNR and SSIM of the proposed model reached 32.17 dB and 0.982， respectively. Compared with the EdgeConnect， RFR， CTSDG and AOT-GAN models， the model proposed can generate the images repaired with clearer texture and reasonable semantics for large-scale damaged images， and the PSNR， SSIM and FID indexes are better than other algorithms.

Key words"" image inpainting， extensive damage， non-local operation， multi-scale feature aggregation， generating adversarial network， blurred texture， masking rate， incoherent overall semantic information

基金項目：海南省科技專項（批準號：ZDYF2022GXJS222）資助的課題；黑龍江省高等教育教學改革項目（批準號：

SJGY20210110）資助的課題。

作者簡介：呂秀麗（1971-），教授，從事圖像處理、模式識別領域的教學和科研工作。

通訊作者：王陽（1999-），碩士研究生，從事圖像處理、模式識別領域的研究，w17852587138@163.com。

引用本文：呂秀麗，王陽，曹志民.基于非局部操作和多尺度特征聚合的圖像修復方法［J］.化工自動化及儀表，2024，

51（5）：821-829.