面向邊-端協同的并行解碼器圖像修復方法

霍相佐，張文東，田生偉，侯樹祥

1.新疆大學 軟件學院，烏魯木齊 830008

2.新疆大學 軟件工程技術重點實驗室，烏魯木齊 830008

在移動終端設備上部署圖像修復模型，使得圖像修復、超分辨率重建、目標移除等應用更加便攜、易用。隨著5G時代的來臨，移動邊緣計算（mobile edge computing，MEC）[1]應運而生，其是指在移動網絡邊緣部署計算和存儲資源，為用戶提供超低時延、高帶寬的IT服務環境和云計算能力。Google、百度、阿里、騰訊等廠家不斷加大云-邊-端協同網絡的投入。邊緣云與終端需要緊密協同才能更好地滿足各種需求場景的匹配，這樣不僅能減少移動終端的計算壓力和能耗，還能降低傳輸時延[2]。因此實現邊-端協同的圖像修復非常具有研究價值。

現有的圖像修復方法可以分為兩類，即傳統方法和深度學習方法。傳統數字圖像修復方法的典型代表有Bertalmio 等人[3]提出的一種沿修復邊界等照度線方向傳播信息的各向異性擴散三階偏微分方程模型，最先將圖像分解應用到圖像修復領域。Criminisi等人[4]提出了結合待修復區域的幾何結構和鄰域置信度確定修復順序，模擬人工修復圖像的過程，實現了圖像由缺損邊緣漸次向內部修復，使得圖像修復的紋理更加合理。師曉波等人[5]提出基于結構連續塊和多尺度變換相結合的方法，在壁畫修復任務中，有效提升視覺連續性。Simakov等人[6]將匹配塊的搜索范圍擴大到了單張圖像以外，其計算量極大，在實際應用中很難實現。Barnes 等人[7]針對此問題提出了PatchMatch的方法，一種快速鄰域算法來加速塊搜索的過程，很大程度上解決了計算量過大的問題。然而以上方法僅在圖像破損面積很小或是圖像本身語義完好的情況下能夠取得較好的修復效果。

基于深度學習的方法則通過訓練神經網絡的方式，生成語義合理的內容，大大超越了傳統方法。近年來，Pathak 等人[8]提出了一種基于生成對抗網絡（generative adversarial network，GAN）[9]的上下文編碼器，生成具有語義信息的樣本塊對破損區域進行填充。劉昱等人[10]在模型中加入跳躍連接，以增加結構信息的預測能力，在面部圖像數據集中提升了圖像的補全效果。Iizuka等人[11]提出了一種具有全局和局部一致性的全卷積圖像修復網絡，處理各種數據集上的高分辨率圖像。Yu 等人[12]為了捕獲更大范圍的紋理，提出了上下文注意力模塊，進一步確保生成區域與周圍環境的顏色、紋理和語義一致性。然而，其主要是在矩形掩膜上進行訓練，并不能很好地對自由形狀的破損區域進行修復。為解決此問題，Liu等人[13]提出部分卷積以改善結果，并在不規則掩膜的數據集上訓練修復網絡，實現了對不規則缺損圖像的修復。Zeng 等人[14]采用U-Net 網絡結構作為主干，提出了一個金字塔上下文編碼器網絡，加快了訓練中的收斂速度。Sagong 等人[15]提出一種快速圖像修復模型，并先后對注意力模塊和擴張卷積進行改進，在保證性能的同時顯著降低網絡參數量。Nazeri等人[16]通過邊緣生成器對圖像待修復區域邊界進行預測，根據預測的邊緣信息指導修復，得到更精細的結果。Yu等人[17]提出了一個基于門控卷積的自由形式圖像修復模型，取得了更真實的修復效果。然而以上方法需求算力較高，并不適宜在移動終端上部署應用。

隨著通信技術、傳感器技術的不斷發展，邊緣計算[18]采用降低服務器和用戶間距離的方式減少了網絡響應時間和數據傳輸能耗。張展等人[19]提出一種面向邊緣計算的目標追蹤應用部署策略，通過任務分割策略將計算任務卸載至邊緣云，能夠通過終端設備對目標進行追蹤，為深度學習模型在終端節點部署提供了新的思路。吳柳青等人[20]提出基于邊-端協同的任務卸載資源分配聯合優化算法，解決了移動終端資源有限的問題，提升了任務處理效率。然而以上方法并不能直接應用在深度學習的圖像修復模型上，針對現有方法的不足，本研究對圖像修復模型本身進行改進并提出計算卸載策略，進一步降低終端和邊緣云的計算時延。

1 邊-端協同圖像修復思路

主要思路是通過訓練一個可在邊-端部署的生成模型學習到真實圖像的概率分布，同時使用門控卷積、并行解碼器、對抗學習、注意力機制、共享權值的方法優化生成模型的學習效果。使用訓練后的生成模型根據待修復圖像掩膜外的區域特征補全缺失部分，以完成圖像修復的目標。

模型整體結構如圖1 所示，可以看作是GAN 的一種變體，模型由2 個生成模型和1 個鑒別模型組成。出于模型需部署在邊緣云和終端節點的考慮，本研究使用編碼器-解碼器結構的卷積神經網絡（convolutional neural network，CNN）作為生成模型，構建了一種面向邊-端協同的并行解碼器結構ETG-Net的卷積神經網絡作為生成模型，在邊-端分別生成與待修復圖像相似的圖像。Yu 等人[17]模型中提出的門控卷積可以更好地提取特征信息。本文同樣采用門控卷積替換所有普通卷積進行特征提取，以學習一種動態的選擇機制，避免模型學習到掩膜中的無效像素。在終端節點采用L1損失進行訓練，在邊緣云端引入生成對抗網絡的對抗訓練，通過博弈的方式進一步優化生成模型，使得生成結果更加精細。另一方面受到Lim 等人[21]于2020 年提出移動邊緣網絡中的聯邦學習（federated learning，FL）的啟發，每層的權值參數與終端節點進行共享。采用并行解碼器共享權值的方式，大大減少模型參數量，提升圖像修復及訓練效率，并保留移動終端的獨立工作能力。實驗使用CelebA-HQ[22]高清人臉數據集和Places2[23]場景數據集。在邊-端聯合學習時，如果對移動終端模型進行微調，邊緣云端模型共享權重部分也會隨之更新，以盡可能達到邊-端輸出效果的平衡。從而在MEC 超低時延的環境下高效利用網絡帶寬，保護隱私，并增強邊緣云與終端節點的協同訓練和推理能力。

圖1 邊-端協同的并行解碼器門控卷積圖像修復網絡Fig.1 Edge-terminal gated convolution network for parallel decoder image inpainting

2 ETG-Net

2.1 生成模型

生成模型由單個編碼器在終端節點進行特征提取，兩個解碼器分別部署在終端節點和邊緣云端，采取共享權值的方式反卷積生成結果。該模型可以在邊緣云與終端節點協同訓練，進行模型的參數更新，以取得良好的修復效果。并行解碼器的設計更適宜進行邊-端協同任務，使得參數量大大減少，更快速地產生良好的結果。

2.1.1 編碼器部分

編碼器部分為卷積神經網絡結構，將掩膜和待修復圖像同時輸入網絡，采用門控卷積降采樣的方式進行特征提取，這個過程可以看作將待修復圖像逐層抽象成隱層表征。共采用10 個門控卷積，其中第一層卷積核大小為5，其余卷積核大小為3，通道數如表1所示，包含4個空洞門控卷積，空洞卷積[24]的目的是擴大感受野并提高圖像修復的質量，擴張率分別為2、4、8、16。

表1 終端編碼器網絡參數Table 1 Terminal encoder network parameters

2.1.2 終端節點解碼器部分

解碼器部分采用與編碼器相反的操作，對編碼器提取出的特征信息進行反卷積[25]的操作，將特征恢復到與輸入圖像相同大小，從而生成預測圖像。共采用10 個門控卷積，卷積核大小為3，通道數如表2所示。

表2 終端解碼器網絡參數Table 2 Terminal decoder network parameters

2.1.3 邊緣云解碼器部分

邊緣云端具有強大的算力支撐，引入上下文注意力以提高模型對大范圍缺失部分填充合理的語義，保證圖像的局部一致性，并在上下文注意力層之前加入一層門控卷積并采用ReLU 激活函數代替默認的ELU 激活函數，上下文注意力層之后的卷積層采用與移動終端節點相同的層數。邊緣云解碼器網絡參數如表3所示。

表3 邊緣云解碼器網絡參數Table 3 Edge cloud decoder network parameters

2.2 門控卷積

普通卷積會將所有輸入像素都視為有效像素進行特征提取，在圖像修復中，每一層的輸入是由掩膜外的有效像素和掩膜區域的無效像素組成的。普通卷積使用了相同的過濾器，適用于所有有效、無效和混合的像素，在無規則掩膜遮蓋的修復實驗中會導致視覺的偽影。為解決上述問題，采用門控卷積[17]可以學習一種動態的選擇機制，避免模型學習到掩膜中的無效像素，僅對有效像素進行卷積，提取有效特征。

其中，W、V為兩個不同卷積核的權重，b、c分別為對應卷積核的偏置，φ是ELU 激活函數，σ是Sigmoid 激活函數。

2.3 上下文注意力

上下文注意力[12]對圖像語義進行合理的修復，為了使生成網絡生成更高質量的圖像，網絡需要理解背景和待修復區域之間的關系，上下文注意力層的核心思想是將特征劃分為目標前景及其周圍的背景，并從背景區域提取多個3×3大小的塊作為目標前景的卷積核，并計算這些區域之間的余弦相似度。可以獲取(x,y)的前景補丁fx,y與(x′,y′)的背景補丁bx′,y′之間的相似度得分S(x,y),(x′,y′)，選取評分最高的塊，以此反卷積出目標前景的內容，對于重疊區域采用平均像素值的方法進行處理，最終獲得精細的修復結果。

其中，λ是可縮放softmax的超參數。通過使用作為權值，通過背景補丁的加權和重建前景區域的特征以理解它們之間的關系。

2.4 判別網絡

SN-PatchGAN[17]經過光譜正則化生成對抗網絡（spectral normalization generative adversarial network，SN-GAN）[26]改進而來，共6 個卷積層，最終輸出維度為(Hinput/32)×(Winput/32)×256 的特征。鑒別器部署在邊緣云端，具體網絡參數如表4所示。對于無規則掩膜下的圖像可以更快、更穩定地進行訓練，輸入包括圖像、掩膜、邊緣信息，輸出為三維特征信息。其中卷積核大小為5×5，步長為2。

表4 鑒別器網絡參數Table 4 Discriminator network parameters

其中優化器采用Adam進行訓練，參數初始設置學習率為0.000 1，beta1為0.5，beta2為0.999。

2.5 損失函數

合理的損失函數使得模型擁有更好的性能，該模型的損失函數分別為像素級的L1重構損失和生成對抗損失組成的鉸鏈損失，L1重構損失作為終端節點和邊緣云端生成結果的共同損失函數，如式（4）所示。

其中，Igt代表原圖，Ix1表示移動終端修復網絡生成的結果，Ix2表示邊緣云修復網絡補全的結果；α是權值因子，通過超參數搜索的方法，初始設定為1.2。生成對抗損失用于鑒別補全效果的真實性，兩大損失的權值占比為1∶1。

邊-端協同修復過程中，終端節點的生成模型也將承擔一部分的任務。為增加終端節點的圖像重建精細度，將生成損失LG加入L1損失作為約束，并隨著訓練迭代次數提升，增大L1損失在LG中的比重，使得終端獨立修復任務得到更為精細的內容，如式（5）所示：

其中，G為生成網絡，D為對抗網絡，LG為網絡的生成損失，LD為網絡的對抗損失，z為破損圖像，x為原始圖像。λ為控制損失項比重的超參數，k為迭代次數，kmax為最大迭代次數。規范后的LG隨著迭代次數的增多，L1損失所占比重增大，進而加大終端節點的修正力度。

3 計算卸載策略

計算卸載策略，作為MEC的關鍵技術，指終端設備將一部分或全部計算任務交給邊緣云計算環境處理的技術，以解決移動設備在資源存儲、計算性能及能效等方面的不足。圖像修復過程中，邊-端有效進行協同可大大減少總任務的修復時間，計算卸載策略如圖2 所示。可以根據待修復區域特征、計算節點負載、網絡延遲及硬件利用率等狀態對計算任務進行劃分，選擇將計算任務在本地執行或部分卸載至邊緣云端執行，以達到任務快速響應，合理分配計算資源的目的。

圖2 計算卸載策略Fig.2 Calculating offloading strategy

計算任務拆分時，首先需要考慮網絡狀態和邊緣服務器資源負載情況，然后根據圖像修復任務的待修復區域選擇合理的方式進行卸載。例如待修復區域范圍很小且不涉及語義層面的修復，則無需卸載至邊緣云端，直接由移動終端即可完成修復，從而減少不必要的響應時延。

待修復區域情況的決策在移動終端上執行，需要盡可能簡單、快速地判斷任務的可遷移性并作出響應[27]。本文并未采用計算待修復區域的面積來判斷，而是根據圖像處理中常用的形態學方法——腐蝕（erosion），對掩膜進行一定閾值的腐蝕，進而根據標簽數判斷是否滿足條件。腐蝕操作如圖3所示。

圖3 腐蝕操作示意圖Fig.3 Schematic diagram of erosion operation

腐蝕操作，將結構元在圖像上滑動，把結構元錨點位置的圖像像素點的灰度值設置為對應圖像區域像素的最小值，公式表示如下：

其中，element 為結構元，(x,y)為錨點，x′和y′為結構元相對錨點的位置偏移，src表示原圖，dst表示結果圖。經過腐蝕后的掩膜，如符合細小、狹窄等特點，將被完全腐蝕，則最終確定目標數目時為0，符合移動終端獨立任務的條件，即可由計算卸載決策為僅由終端節點執行修復任務，算法如下所示。

該算法的核心是形態學的腐蝕算法。設圖像寬高分別為w、h,膨脹半徑為R,遍歷每個像素，如果該像素的像素半徑R的鄰域內值不為0，則設置為0，時間復雜度為O(n4)。

4 仿真實驗

4.1 實驗環境

模型訓練采用Ubuntu 系統，GPU 采用TeslaV100，顯存16 GB，TensorFlow1.15.2，Cuda10.0，cudnn7。邊緣云服務器采用Ubuntu 系統，GPU 采用GTX 1070Ti，顯存8 GB。終端節點采用MacOS系統，采用6核CPU I5-8500，8 GB RAM。數據集Places2[23]，包含自然界中365個場景的數據集，劃分為訓練集（1 800 000 張）、測試集（328 500張）和驗證集（36 500張）；數據集CelebA-HQ[22]，高質量人臉數據集，手動劃分為訓練集（27 000 張）、測試集（3 000張）。

分別在Places2 進行184 000 次迭代；CelebA-HQ 進行136 000次迭代，其中經過100 000次迭代將初始設置學 習 率0.000 1 更 改 為0.000 01，超 參 數λ設 置 為5，Batchsize為24，圖片大小為256×256。

4.2 評價指標

（1）結構相似性（structural similarity，SSIM）

SSIM 是用來衡量圖像相似度的評價指標，分別從亮度L、對比度C和結構S三方面對圖像I和I′進行度量。SSIM是一個0到1之間的數，SSIM越大，兩圖像間差異越小。

（2）峰值信噪比（peak signal to noise ratio，PSNR）

PSNR 是一種全參考的圖像質量評價指標，度量的是經過修復后的圖像的質量。PSNR 值越大，則失真越少。其中均方誤差（mean square error，MSE）為：MSE對給定大小為m×n的圖像進行度量。

（3）平均絕對誤差（mean absolute error，MAE）

MAE即為L1損失，可以粗略反映模型重建圖像與原始圖像的誤差情況，值越小越好。

（4）FID（Frechet inception distance，FID）

FID[28]是一種評價生成模型的指標，表示生成圖像的特征向量與真實圖像的特征向量之間的距離，該距離越近，表明生成模型的效果越好，即圖像的清晰度高且多樣性豐富。

4.3 圖像修復實驗對比

實驗模擬實際任務分別對CelebA-HQ人臉和Places2場景數據集的矩形遮蓋和不規則形式遮蓋進行修復。為驗證所提模型的效果，定性定量實驗均在邊緣云服務器上進行，并與EdgeConnect（EC）[16]、ContextAttention（CA）[12]、GatedConvolution（GC）[17]方法進行對比。

圖4為在不規則掩膜下的CelebA-HQ 數據集修復結果。從圖中可以看出，四種方法均取得良好的效果，其中GC方法和ETG方法（本文方法）效果最佳，得益于門控卷積對于不規則形式掩膜的處理更加有效，避免學習到無效的信息。CelebA-HQ 不規則掩膜評價指標如表5所示。

表5 CelebA-HQ不規則掩膜評價指標Table 5 Irregular mask evaluation index of CelebA-HQ

圖4 不規則掩膜下人臉修復Fig.4 Face repair under irregular mask

圖5為在矩形掩膜下的CelebA-HQ 數據集修復結果。矩形掩膜的效果客觀評價指標如表6所示。

表6 CelebA-HQ矩形掩膜評價指標Table 6 Rectangular mask evaluation index of CelebA-HQ

圖5 矩形掩膜下人臉修復Fig.5 Face repair under rectangular mask

從CelebA-HQ結果的評價指標中可以看出，在矩形掩膜下，CA方法取得最優，其主要對矩形掩膜圖片進行大量訓練，并采用上下文注意力提高了掩膜區域修復精度。在無規則掩膜下，GC方法取得最優，其采用門控卷積的方式以及上下文注意力動態地學習圖像中的特征。本文提出的ETG在同一環境下無規則掩膜的修復效果指標上僅次于GC 方法，用戶主觀感受上與GC 方法并無明顯差異，在單張圖像修復的響應時延上取得最優，結合邊-端協同特性將進一步提升修復效率。

圖6為模擬實際使用中矩形掩膜、不規則掩膜、目標移除等場景的Places2數據集修復結果。在矩形掩膜下，EC、CA、ETG表現較好，其他場景下除本文方法外，其他方法均產生部分的偽影。Places2數據集評價指標如表7所示。

圖6 模擬實際修復Places2場景下結果Fig.6 Simulating actual repair results in Places2 scene

表7 Places2數據集評價指標Table 7 Evaluation index of Places2 dataset

在Places2 的定性定量比較中，本文方法顯現出卓越的性能，得益于邊-端并行解碼器的權重共享，修復階段僅需通過任意一個解碼器即可產生結果，因此執行修復任務時的參數量明顯小于訓練時的參數量。如表8所示，本文方法的參數量較GC 方法減少了43.9%，較CA方法減少了36.1%，從而達到修復效率上的提升。

表8 各模型的參數量Table 8 Parameters of each model

4.4 邊-端協同實驗與分析

上述實驗已經證明本文方法在相同環境下響應時延的優勢，為驗證邊-端協同計算卸載策略的影響，將圖像修復任務分為采用僅由終端節點執行的不卸載方式、計算卸載策略的部分卸載方式和由邊緣云端處理的完全卸載方式進行對比。

采用隨機10 張待修復圖像，分辨率為256×256，不考慮計算卸載引起的基站間的干擾，實驗中采用仿真的方式，設定邊緣云服務器傳輸帶寬為1 Mbit/s，將相同的計算任務分別按不同的策略進行卸載。經過10張圖像的修復實驗，計算任務完全由移動終端節點處理，計算時間如圖7所示。

圖7 計算任務完全由移動終端節點處理Fig.7 Computing tasks processed by mobile terminal node

移動終端的生成模型在處理高層次語義和大范圍缺失圖像修復任務時效果低于邊緣云生成模型，并且受到算力和能耗的影響，響應時延較長。從測試結果可以看出，任務處理時間為4～9 s。

圖8為計算任務完全由邊緣云處理的計算時間。終端節點將待修復圖像數據上傳至邊緣云端，所有計算任務由邊緣云完成，上傳時延主要受網絡條件影響，任務處理時間約為4.3 s。

圖8 計算任務完全由邊緣云處理Fig.8 Computing tasks processed by edge cloud

圖9為計算任務由終端節點與邊緣云協同處理的計算時間。從圖中可以看出，協同處理時，計算任務部分卸載至邊緣云端，終端節點負責圖像的特征提取及計算卸載決策的計算，在第2、6、7實驗圖像因待修復區域小，根據計算卸載策略決策僅調用移動終端處理，其余任務卸載至邊緣云進行處理，可以理解為復雜的任務交由邊緣云處理，減少能耗和響應時延，簡單的任務由終端獨自完成，從而更高效地處理計算任務。

圖9 計算任務由終端節點與邊緣云協同處理Fig.9 Computing tasks co-processed by terminal node and edge cloud

在總體上，計算任務完全由移動終端處理，受限于算力和能耗的影響，僅能處理待修復區域小的圖像并且耗時較長。邊-端協同處理，雖然在數據傳輸中也會產生部分時間損耗，但并行處理時能大大減少總體的響應時延。小范圍修復任務的數量也會影響到總的修復所需時間，所有圖像的特征提取均在移動終端完成，根據待修復區域大小，由計算卸載策略決定是否上傳至邊緣云進行大范圍和語義層面的修復。完全卸載則需要上傳圖像及掩膜到邊緣云端再完成讀取等操作。本組實驗中，不卸載方案的總耗時為67.16 s，完全卸載方案的總耗間為44.87 s，采用計算卸載策略的部分卸載方案總耗時為37.04 s。從本組實驗結果可以看出，所提策略較完全卸載可以在保證精度的同時，進一步降低任務17.5%的響應時延。

5 結束語

本文提出一種面向邊-端協同的并行解碼器圖像修復網絡架構ETG-Net，解決了終端節點應用深度學習圖像修復的瓶頸。并行解碼器的結構可以更好地部署在邊緣云和移動終端上，便于對不同修復任務作出選擇。采用權值共享的方式，有效減少模型參數量，從而更好地協同訓練，提升圖像修復效率。利用門控卷積和注意力機制，加強深層特征的挖掘和上下文語義信息的整合，隨后通過增加L1損失中終端節點修復損失的權重在鉸鏈損失中的占比，提升終端節點的圖像重建精細度。同時通過計算卸載策略進一步提升圖像邊-端協同修復的效率。

實驗證明本文方法解決了移動終端部署圖像修復模型存在的問題，在定性定量的基準測試中取得良好的結果，為圖像修復模型部署邊緣云提供了有效的參考。

后續準備從以下方向進一步研究：

（1）借助紋理信息進一步提升邊-端協同圖像修復模型的修復質量；

（2）采用更多種類的掩膜進行訓練并增加迭代次數；

（3）對MEC 的分布式系統執行圖像處理任務的共識機制進行研究。